A Novel Hybrid Filter-Wrapper Algorithm for Feature Selection in Decision Information Systems Based on Fuzzy Neighborhood Rough Sets
Abstract
Lý thuyết tập thô lân cận là công cụ hữu hiệu giúp giải quyết rất tốt bài toán lựa chọn thuộc tính trên các hệ
thông tin có miền giá trị số liên tục. Tuy nhiên, mô hình này còn gặp nhiều hạn chế trong việc mô tả mối quan hệ từ các đối tượng trong cùng một lớp lân cận. Điều này dẫn tới sự kém hiệu quả về một số độ đo khi chỉ xét tới các lớp lân cận nằm hoàn toàn trong một phân lớp. Rõ ràng, việc bỏ qua những lớp lân cận còn lại sẽ có những ảnh hưởng rất lớn tới hiệu quả, mặc dù chúng vẫn tồn tại những ý nghĩa về mặt thông tin cũng như đóp góp giá trị vào các độ đo. Để giải quyết những khó khăn này, nghiên cứu ban đầu sẽ trình bày về một mở rộng mới được gọi là tập thô lân cận mờ. Mô hình này hiệu quả trong việc giảm thiểu nhiễu và rút gọn không gian tính toán. Bên cạnh đó, mô hình này cũng mô tả đầy đủ đặc trưng mức độ thuộc của các đối tượng trong một lớp lân cận. Dựa trên những ưu điểm của mô hình, nghiên cứu đề xuất một độ đo mới nhằm đánh giá khả năng phân lớp của các hạt thông tin lân cận mờ. Qua đó, những phân tích và chứng minh tính hiệu quả từ độ đo trong việc đánh giá ý nghĩa của các thuộc tính trong hệ thông tin nhất quán và không nhất quán sẽ được làm rõ. Tiếp theo, chúng tôi sẽ định nghĩa lại một rút gọn mới để thiết kế một thuật toán theo hướng tiếp cận lọc-đóng gói nhằm trích chọn một tập con thuộc tính tối ưu trên hệ thông tin quyết định. Một số kết quả thực nghiệm đã chứng minh hiệu quả của thuật toán đề xuất so với một số thuật toán theo tiếp cận tập thô mờ.
References
Z. Pawlak, "Rough sets", International Journal of Computer & Information Sciences, vol. 11, pp. 341–356, 1982.
N. L. Giang and V. D. Thi, "An attribute reduction algorithm in a decision based on improved entropy", Journal of Computer Science and Cybernetics, vol. 27, no. 2, pp. 166–175, 2012.
N. L. Giang, N. T. Tung, and V. D. Thi, "A new method for attribute reduction to imcomplete decision table based on metric", Journal of Computer Science and Cybernetics, vol. 28, no. 2, pp. 129–140, 2012.
P. V. Anh, V. D. Thi, and N. N. Cuong, "A novel algorithm for finding all reducts in the incomplete decision table", Journal of Computer Science and Cybernetics, vol. 39, no. 4, p. 313–321, 2023.
L. A. Zadeh, "Fuzzy sets", Information and Control, vol. 8, pp. 338–353, 1965.
D. Dubois and H. Prade, "Putting rough sets and fuzzy sets together", Intelligent Decision Support, vol. 11. Dordrecht, The Netherlands: Springer, 1992, pp. 203–232.
X. Zhang, C. Mei, D. Chen, and Y. Yang, "A fuzzy rough set-based feature selection method using epresentative instances", knowledge Based Systems, vol. 151, pp. 216–229, 2018.
T. K. Sheeja and A. S. Kuriakose, "A novel feature selection method using fuzzy rough sets", Computers in Industry, vol. 97, pp. 111–116, 2018.
X. Che, D. Chen, and J. Mi, "Label correlation in multi-label classification using local attribute reductions with fuzzy rough sets", Fuzzy Sets and Systems, vol. 426, pp. 121–144, 2022.
Q. Hu, D. Yu, and Z. Xie, "Information-preserving hybrid data reduction based on fuzzy-rough techniques", Pattern Recognition Letters, vol. 27, no. 5, pp. 414–423, 2006.
B. Liang, L. Wang, and Y. Liu, "Attribute reduction based on improved information entropy", Journal of Intelligent & Fuzzy Systems, vol. 36, no. 1, pp. 709–718, 2019.
C. Wang, Y. Huang, M. Shao, and X. Fan, "Fuzzy rough set-based attribute reduction using distance measures", knowledge-Based Systems, vol. 164, pp. 205–212, 2019.
P. M. N. Ha, N. L. Giang, N. V. Thien, and N. B. Quang, "An Incremental Algorithm for Finding Reducts of Incomplete Decision Tables", Research, Development and Application on Information and Communication Technology, vol. 2019, no. 1, 2019.
V. V. Dinh, V. D. Thi, N. L. Giang, and N. Q. Tao, "Partition Distance Based Attribute Reduction in Incomplete
Decision Tables, Research", Development and Application on Information and Communication Technology, vol. 2, no. 1, 2015.
G. C. Y. Tsang, D. Chen, E. C. C. Tsang, J. W. T. Lee, and D. S. Yeung, "On attributes reduction with fuzzy rough sets", Proc. IEEE Int. Conf. Syst., Man, Cybern., vol. 3, no. 3, pp. 2775–2780, 2005.
W. L. Hung, M. S. Yang, "Similarity measures of intuitionistic fuzzy sets based on lp metric", International Journal of Approximate Reasoning, vol. 46, no. 1, pp. 120–136, 2007.
P. V. Anh, N. L. Giang, N. N. Thuy, N. T. Thuy, and P. D. Khanh, "A Novel Incremental Algorithm for Finding
the Reduct on the Decision Table when Deleting the Object Set", Research, Development and Application on Information and Communication Technology, vol. 2023, no. 2, 2023.
P. V. Anh, N. N. Thuy, V. D. Thi, and N. L. Giang, "On distance-based attribute reduction with ????, ????-level intuitionistic fuzzy sets", IEEE Access 11, pp. 138095–138107, 2023.
C. Wang, M. Shao, Q. He, Y. Qian, and Y. Qi, "Feature subset selection based on fuzzy neighborhood rough sets", KBS, vol. 111, pp. 173-179, 2016.
Q. Hu, D. Yu, J. Liu, and C. Wu, "Neighborhood rough set based heterogeneous feature subset selection", KBS, vol. 178, pp. 3577-3594, 2008.
N. L. Giang, L. H. Son, T. T. Ngan, T. M. Tuan, H. T. Phuong and et al., "Novel Incremental Algorithms for Attribute Reduction From Dynamic Decision Tables Using Hybrid Filter– Wrapper With Fuzzy Partition Distance", IEEE Transactions on Fuzzy Systems, vol. 28, no. 5, 2020.
C. Wang, Q. Hu, X. Wang, D. Chen, Y .Qian and Z. Dong, "Feature Selection Based on Neighborhood DiscriminationIndex Index", IEEE Transactions on Neural Networks and Learning Systems, vol. 29, 2017.
X. Zhang, Y. Fan and J. Yang, "Feature selection based on fuzzy-neighborhood relative decision entropy", Pattern Recognition Letters, vol. 146, 2021.
UCI Machine learning repository, “Data,” 2024. https:// archive.ics.uci.edu/
Openml machine learning platform, “Data,” 2024. https://www.openml.org/
