Tìm kiếm ảnh dựa vào Ontology
Ontology-based Image Retrieval
Abstract
Bài toán tìm kiếm ảnh đóng vai trò quan trọng trong mọi lĩnh vực của cuộc sống. Trong bài báo này, một
phương pháp tìm kiếm ảnh dựa vào Ontology OBIR (Ontology-based Image Retrieval) được đề xuất nhằm xác định ngữ nghĩa cấp cao của hình ảnh. Ontology bán tự động được đề xuất xây dựng làm cơ sở tri thức cho tìm kiếm ảnh theo tiếp cận ngữ nghĩa, đồng thời câu truy vấn SPARQL được tự động tạo ra từ văn bản đầu vào hoặc từ lớp ngữ nghĩa của ảnh đầu vào, được xác định thông qua công cụ tìm kiếm học máy dựa trên đồ thị cụm láng giềng, để tìm kiếm trên Ontology này. Để minh chứng cho các lý thuyết đã đề xuất, chúng tôi tiến hành thực nghiệm trên bộ ảnh ImageCLEF (20.000 hình ảnh) và Stanford Dogs (20.580 hình ảnh). Kết quả thực nghiệm của phương pháp tìm kiếm ảnh dựa vào Ontology được so sánh với phương pháp tìm kiếm ảnh theo nội dung, đồng thời được so sánh với các công trình khác cùng tập dữ liệu ảnh nhằm chứng minh tính hiệu quả và đúng đắn của các đề xuất trong bài báo.
References
Allani O., Zghal H. B., Mellouli N., Akdag H., "Pattern graphbased image retrieval system combining semantic and visual features," Multimedia Tools and Applications, vol. 76(19), pp. 20287-20316, 2017.
Alzubaidi M. A., "A new strategy for bridging the semantic gap in image retrieval," International Journal of Computational Science and Engineering, vol. 14(1), pp. 27-43, 2017.
Arun K. S., Govindan V. K., "A hybrid deep learning architecture for latent topic-based image retrieval," Data Science and Engineering, vol. 3(2), pp. 166-195, 2018.
Bella M. I. T., Vasuki A., "An efficient image retrieval framework using fused information feature," Computers & Electrical Engineering, vol. 75, pp. 46-60, 2019.
Bouchakwa M., Ayadi Y., Amous I., "Multi-level diversification approach of semantic-based image retrieval results," Progress in Artificial Intelligence, vol. 9(1), pp. 1-30, 2020.
Dbpedia ontology, https://dbpedia.org/ontology/, last accessed 2021/03/20.
Fang W., Ding L., Zhong B., Love P. E., & Luo, H., "Automated detection of workers and heavy equipment on
construction sites: A convolutional neural network approach," Advanced Engineering Informatics, vol. 37, pp. 139-149, 2018.
Filali J., Zghal H., & Martinet J., "Towards Visual Vocabulary and Ontology-based Image Retrieval System," In International Conference on Agents and Artificial Intelligence, vol. 2, pp. 560-565, 2016.
Jia F., Liu J., Tai X. C., "A regularized convolutional neural network for semantic image segmentation," Analysis and Applications, vol. 19(01), pp. 147-165, 2021.
Garg M., Dhiman G., "A novel content-based image retrieval approach for classification using GLCM features and texture fused LBP variants," Neural Computing and Applications, pp. 1-18, 2020.
Gonc¸alves F. M. F., Guilherme I. R., Pedronette D. C. G., "Semantic guided interactive image retrieval for plant identification," Expert Systems with Applications, vol. 91, pp.12-26, 2018.
ImageCLEF Homepage, https://www.imageclef.org/, last accessed 2021/03/21. [13] ImageNET Hierarchy, https://observablehq.com/ @mbostock/imagenet-hierarchy, last accessed 2021/03/20.
Khosla A., Jayadevaprakash N., Yao B., Li F. F., "Novel dataset for fine-grained image categorization: Stanford dogs," In: Proc. CVPR Workshop on Fine-Grained Visual Categorization (FGVC), vol. 2, no. 1, 2011.
Manzoor U., Balubaid M. A., Zafar B., Umar H., Khan M. S., "Semantic image retrieval: An ontology based approach," International Journal of Advanced Research in Artificial Intelligence, vol. 4(4), pp. 1-8, 2015.
Mazo C., Alegre E., Trujillo M., "Using an ontology of the human cardiovascular system to improve the classification of histological images," Scientific Reports, vol. 10(1), pp. 1-14, 2020.
Mohd K., Yanti I.A., Mohd N., Shahrul A., Bloechle M., "Semantic text-based image retrieval with multi-modality ontology and DBpedia," The Electronic Library, vol. 35, no. 6, pp. 1191-1214, 2017.
Nhi, N. T. U., Van T. T., Le T. M., "A self-balanced clustering tree for Semantic-based image retrieval," Journal of Computer Science and Cybernetics, vol. 36(1), pp. 49-67, 2020.
Nhi N. T. U., Van T. T., Le T. M., "Semantic-Based Image Retrieval Using Balanced Clustering Tree," In WorldCIST, vol.2, pp. 416-427, 2021.
Shati N. M., Khalid Ibrahim N., Hasan T. M., " A review of image retrieval based on ontology model," Journal of AlQadisiyah for computer science and mathematics, vol. 12(1), pp.10, 2020.
Sharma M. K., Siddiqui T. J., “An ontology based framework for retrieval of museum artifacts.” Procedia Comput. Sci., vol. 84, pp. 169–176, 2016.
Singh V., Gupta R., "Novel framework of semantic based image reterival by convoluted features with non-linear mapping in cyberspace," International Journal of Recent Technology and Engineering, pp. 2277-3878, 2019.
Vijayarajan V., Dinakaran M., Tejaswin P., Lohani M., "A generic framework for ontology-based information retrieval and image retrieval in web data," Human-centric Computing and Information Sciences, vol 6(1), pp. 18-27, 2016.
WORDNET Homepage, https://wordnet.princeton.edu/, last accessed 2021/03/17
Xu H., Huang C., Wang D., "Enhancing semantic image retrieval with limited labeled examples via deep learning," Knowledge-Based Systems, vol. 163, pp. 252-266, 2019.
Xie D., Deng C., Li C., Liu X., Tao D., "Multi-task consistency-preserving adversarial hashing for cross-modal retrieval," IEEE Transactions on Image Processing, vol. 29, pp. 3626-3637, 2020.
Yan C., Bai X., Wang S., Zhou J., Hancock E. R., "Crossmodal hashing with semantic deep embedding," Neurocomputing, vol. 337, pp. 58-66, 2019.
Zhang M., Zhu M., Zhao X., "Recognition of High-Risk Scenarios in Building Construction Based on Image Semantics," Journal of Computing in Civil Engineering, vol. 34(4), 2020.
Zhang S., Ma Z., Zhang G., Lei T., Zhang R., Cui Y., "Semantic image segmentation with deep convolutional neural networks and quick shift," Symmetry, vol. 12(3), pp. 427-439, 2020.