چارچوبی برای استخراج آناتومی و طبقه بندی تصاویر پشه با رویکرد یادگیری عمیق

نوع مقاله : مقاله کامپیوتر

نویسندگان

1 دانشجوی دکتری، دانشکده تحصیلات تکمیلی، گروه مهندسی کامپیوتر، واحد یزد، دانشگاه آزاد اسلامی، یزد، ایران

2 استادیار، دانشکده فنی و مهندسی، گروه مهندسی کامپیوتر، دانشگاه میبد، میبد، ایران

3 استادیار، دانشکده تحصیلات تکمیلی،گروه مهندسی کامپیوتر، واحد یزد، دانشگاه آزاد اسلامی، یزد، ایران

4 استادیار، دانشکده فنی و مهندسی، گروه مهندسی کامپیوتر، دانشگاه حایری، میبد، ایران

چکیده

پشه ها عامل اصلی انتشار بیماری‌های خطرناک مانند مالاریا، تب زرد، تب دانگ و زیکا هستند. موثرترین روش کنترل این دسته از بیماری‌ها، شناسایی صحیح انواع گونه های پشه است. در روش شناسایی پشه‌ها به شیوه سنتی، تعیین هویت بر اساس تشخیص‌های مرفولوژیکی توسط انسان‌های متخصص با مهارت‌های خاص صورت می-گیرد. مهمترین چالش طبقه‌بندی کاهش تعداد افراد خبره و تنوع زیاد گونه‌های مختلف پشه است. به منظور غلبه بر این چالش، توسعه یک روش خودکار بر اساس معماری‌های یادگیری عمیق برای شناسایی و طبقه‌بندی پشه‌ها منبع ارزشمندی برای افراد غیر‌متخصص خواهد بود. هدف از این پژوهش، ارائه مدلی از نوع شبکه کانولوشن به منظور قطعه‌بندی و طبقه‌بندی تصاویر پشه با ادغام معماری ResNet101 و تکنیک Mask_RCNN می‌باشد. 2354 تصویر پشه از سه گونه آنوفل، آئدس و کولکس با یکدیگر مقایسه می‌شوند. در مدل پیشنهادی به جای ورودی شبکه به صورت تصویر کامل پشه ابتدا تصاویر قطعه‌بندی شده و سپس قسمت‌های مختلف شکم، پا، بال و سر به عنوان ورودی به شبکه داده می‌شود. ماسک باینری متناظر از اجزای تشریح شده بدن پشه توسط شبکه کانولوشن جهت استخراج ویژگی برای هر قسمت مجزا تولید می‌شود و سپس مقدار زیان بین مقادیر طبقه‌بندی شده و برچسب تصاویر محاسبه می‌شود. نتایج ارزیابی نشان داد استخراج تصاویر آناتومی پشه بر طبقه‌بندی سریع‌تر تصاویر تاثیر می‌گذارد و شبکه با دقت 84/97 درصد نسبت به حالت معمولی بهتر عمل کرده است.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Deep learning framework to extract anatomy for mosquito image classification

نویسندگان [English]

  • Marzieh Zare Nazari 1
  • Mohsen Sardari Zarchi 2
  • Sima Emadi 3
  • hadi Pourmohammadi 4
1 Department of Computer Engineering, Islamic Azad University, Yazd Branch, Yazd, Iran
2 Department of Computer Engineering, Meybod University, Meybod, Iran
3 Department of Computer Engineering, Yazd Branch, Islamic Azad University, Yazd, Iran
4 Department of Computer Engineering, Meybod University, Meybod, Iran
چکیده [English]

Mosquitoes are the main cause of the spread of dangerous diseases such as malaria, yellow fever, dengue fever, and Zika. The most effective way to control these diseases is to correctly identify the types of mosquito species. In the traditional method of identifying mosquitoes, identification is based on morphological diagnoses by specialized human beings with special skills. The most important classification challenge is to reduce the number of experts and the great diversity of different species of mosquitoes. In order to overcome this challenge, developing an automated method based on deep learning architectures to identify and classify mosquitoes will be a valuable resource for non-specialists.

This study proposes a convolutional network model that integrates the ResNet101 architecture and the Mask_RCNN technique to segment and classifies mosquito images. 2354 mosquito images of three species of Anopheles, Aedes, and Culex are compared with each other. In the proposed model, instead of entering the network as a complete image of a mosquito, first, the images are segmented, and then different parts of the abdomen, legs, wings, and head are given to the network as input. The corresponding binary mask of the described parts of the mosquito body is produced by the convolution network to extract the feature for each separate part and then calculate the loss value between the classified values and the image label. The evaluation results showed that the extraction of mosquito anatomy images affects the faster classification of images and the network performed better with 97.84% accuracy than normal.

کلیدواژه‌ها [English]

  • Deep Learning
  • Convolutional Neural Networks
  • Classification
  • Segmentation Mosquito

مراجع

[1] H.Caraballo and K.King,"Emergency department management of mosquito-borne illness: malaria, dengue, and West Nile virus", Emergency medicine practice,Vol .16, NO.5, May 2014 , pp.1-23.
[2] G.King Jonas," Developmental and comparative perspectives on mosquito immunity", Developmental& Comparative Immunology, Vol. 1o3, February 2020, pp.103458.
[3] G.Hopkins andR Freckleton," Declines in the numbers of amateur and professional taxonomists: implications for conservation", Animal conservation forum, Vol.5, NO. 3, August 2002, pp. 245-249.
[4] R.britz, A.hundsdörfer, U.fritz, " Funding, training, permits—the three big challenges of taxonomy", Megataxa, Vol.1, NO.1, January2020, pp.49-52.
[5] A. Arista-Jalife,M.Nakano, Z.Garcia-Nonoal, D.Robles-Camarillo, H.Perez-Meana and H.Arista-Viveros, "Aedes mosquito detection in its larval stage using deep neural networks", Knowledge-Based Systems, Vol.189,  February 2020, pp.104841.
[6] زهرا مروج؛ جواد آذرخش، "شبیه سازی و طبقه بندی وقایع کیفیت توان با استفاده از شبکه عصبی "، نشریه مدل سازی در مهندسی، دوره 13، شماره 41، تابستان 1394، صفحه 137-146.
[7] راضیه راستگو؛ کورش کیانی، "شناسایی چهره بااستفاده از تنطیم دقیق شبکه های کانولوشنی عمیق و رویکرد یادگیری انتقالی"، نشریه مدل سازی در مهندسی، دوره 17، شماره 58، پاییز 1398، صفحه 103-111.
[8] محمود معلم؛ علی اکبر پویان، "کشف ناهنجاری با استفاده از کد کننده خودکار مبتنی بر بلوک‌های LSTM"، نشریه مدل سازی در مهندسی ، دوره 17، شماره 56، بهار 1398، صفحه 191-211.
[9] A.Dhillon and GK.Verma," Convolutional neural network: a review of models, methodologies and applications to object detection", Progress in Artificial Intelligence, Vol.9 ,No.2 , Junuary 2020 , pp.85-112.
 [10] Dataset :http://www.mosquitoalert.com/en/mosquito-images-dataset/.
[11] M. Martineau, D. Conte, R.Raveaux, I.Arnault, D.Munier andG.Venturini," A survey on image-based insect classification", Pattern Recognition,  Vol.65 , May 2017 , pp.273-284.
[12] N. jaramilloo, JP. Dujardin, D.CalleLondoño andI.Fonseca-González, "Geometric morphometrics for the taxonomy of 11 species of Anopheles (N yssorhynchus) mosquitoes" , Medical and Veterinary Entomology,Vol.29 , NO.1 , March 2015,pp.26-36.
[13]AK.Banerjee, K.Kiran, US.Murty and C.Venkateswarlu, " Classification and identification of mosquito species using artificial neural networks", Computational Biology and Chemistry,Vol.32 ,NO.6 , December 2008, pp.442-447.
[14] KY.Lee, N.Chung Nand S.Hwang," Application of an artificial neural network (ANN) model for predicting mosquito abundances in urban areas", Ecological Informatics, Vol. 36, November2016 , pp.172-180.
[15] R.Wieland, A.Kerkow, L.Früh, H.Kampen andD.Walther, “Automated feature selection for a machine learning approach towardmodelinga mosquito distribution", Ecological Modelling, Vol.352, May 2017 pp.108-112.
[16] Y.Li, D.Zilli, H.Chan, I.Kiskin, M.Sinka, S.Robertsand K.Willis,"Mosquito detection with low-cost smartphones: data acquisition for malaria research",arXiv preprint arXiv:1711.06346,November2017.
[17] L.Früh L, H.Kampen, A.Kerkow,GA.Schaub, D.Walther andR.Wieland, "Modelling the potential distribution of an invasive mosquito species: comparative evaluation of four machine learning methods and their combinations", Ecological Modelling, NO.388 , November 2018,pp.136-144.
[18] M. Minakshi, P.Bharti, T.Bhuiyan, S.Karie, and S.Chellappan, " A framework based on deep neural networks to extract anatomy of mosquitoes from images", Scientific Reports, Vol.10 , No.1 , August 2020 ,pp.1-10.
[19] پانیذ تیموری؛ مهدی مزینانی؛ راحیل حسینی، "ارایه یک مدل هوشمند قطعه‌بندی مبتنی بر منطق فازی و تبدیل موجک گسسته در تصاویر دیجیتالی جهت شناسایی سرطان معده"، نشریه مدل سازی در مهندسی، دوره 18، شماره 6، زمستان1399، صفحه 131-150.
[20] J.Park, DI.Kim, B.Choi, W.Kang and HW.Kwon," Classification and morphological analysis of vector mosquitoes using deep convolutional neural networks" ,Scientific reports, Vol.10 , No.1 ,January2020, pp.1-12.
[21] RF.Simões, AB.Wilke, CR.Chagas, RM.Menezes, L.Suesdek, LC.Multini, FS.Silva, MG.Grech,MT.Marrelli andK.Kirchgatter, "Wing geometric morphometricsas a tool for the Identification of culex subgenus mosquitoes of culex (Diptera: Culicidae)", Insects, Vol.11 , NO. 9, September2020,pp.567-580.
[22] E.Gokcay,"An information-theoretic instance-based classifier".Information Sciences,Vol.536, October  2020, pp.263-276.
[23]L.Früh, H.Kampen, A.Kerkow, GA.Schaub, D.Walther and R.Wieland, "Modellingthe potential distribution of an invasive mosquito species: comparative evaluation of four machine learning methods and their combinations", Ecological Modelling, Vol. 388,  November 2018, pp.136-144.
[24] T.Kasinathan and SR.Uyyala, " Machine learning ensemble with image processing for pest identification and classification in field crops", Neural Computing and Applications, Vol.33 , No. 13,July 2021,pp.7491-7504.
[25] Hasan, Hayder, Helmi ZM Shafri, and Mohammed Habshi. "A comparison between support vector machine (SVM) and convolutional neural network (CNN) models for hyperspectral image classification." In IOP Conference Series: Earth and Environmental Science, VOl. 357, NO. 1 , November 2019, pp. 012035.
[26] E.Fanioudakis, M.Geismar andI.Potamitis, "Mosquito wingbeat analysis and classification using deep learning" ,26th European Signal Processing Conference (EUSIPCO) , Rome,Italy ,September2018, pp. 2410-2414.
[27] Y.Guo, Y.Liu, T.Georgiou and MS.Lew, "A review of semantic segmentation using deep neural networks", International journal of multimedia information retrieval, Vol. 7, No. 2, Junuary 2018 , pp.87-93.
[28] HD.Cheng, XH.Jiang,Y. Sun and J.Wang, " Color image segmentation: advances and prospects", Pattern recognition, Vol.34 , NO.12, December 2001 , pp.2259-2281.
[29] Z. Huang, X.Wang, J.Wang, W.Liu and J.Wang, "Weakly-supervised semantic segmentation network with deep seeded region growing", Proceedings of the IEEE conference on computer vision and pattern recognition, June 2018 , USA, pp. 7014-7023.
[30] TD.Júnior, R.Rieder, JR.Domênico andD. Lau, " InsectCV: A system for insect detection in the lab from trap images", Ecological Informatics, Vol.67, March2022, pp.101516.
[32]Khalighifar, Ali, Daniel Jiménez-García, Lindsay P. Campbell, KoffiMensahAhadji-Dabla, Fred Aboagye-Antwi, Luis Arturo Ibarra-Juárez, and A. Townsend Peterson. "Application of DeepLearning to Community-Science-Based Mosquito Monitoring and Detection of Novel Species."Journal of medical entomology, Vol.59, No.1, January 2022, PP. 355-362.
[33]Xu X, Zhao M, Shi P, Ren R, He X, Wei X, Yang H. "Crack Detection and Comparison Study Based on Faster R-CNN and Mask R-CNN", Sensors ,Vol.22, No.3,February 2022, p1215.
[34]Ulku, Irem, and ErdemAkagündüz. "A survey on deep learning-based architectures for semantic segmentation on 2d images."Applied Artificial Intelligence, February 2022, PP. 1-45.
[35]Cao, Xingmei, Jeng-Shyang Pan, Zhengdi Wang, Zhonghai Sun, Anwar ulHaq, Wenyu Deng, and Shuangyuan Yang. "Application of generated mask method based on Mask R-CNN in classification and detection of melanoma", Computer Methods and Programs in Biomedicine,Vol. 207 , August 2021,PP 106174.
[36] BP.Amiruddin andRE.Kadir, " CNN architectures performance evaluation for image classification of mosquito inIndonesia",  International Seminar on Intelligent Technology and Its Applications (ISITIA), July 2020,  Surabaya, Indonesia, pp. 223-227.
[37] V.Kittichai, T.Pengsakul, K.Chumchuen, Y.Samung, P.Sriwichai, N.Phatthamolrat, T.Tongloy, K.Jaksukam, S.Chuwongin, and S.Boonsang, " Deep learning approaches for challenging species and gender identification of mosquito vectors", Scientific reports, Vol.11 , NO.1 ,March 2021 , pp.1-4.
[38] Marques, Alan Caio R., Marcos M. Raimundo, Ellen Marianne B. Cavalheiro, Luis FP Salles, Christiano Lyra, and Fernando J. Von Zuben. "Ant genera identification using an ensemble of convolutional neural networks." Plos one, Vol. 13, NO. 1, january2018, pp e0192011.
[39] Motta, Daniel, Alex Álisson Bandeira Santos, Ingrid Winkler, Bruna Aparecida Souza Machado, Daniel André Dias Imperial Pereira, Alexandre Morais Cavalcanti, Eduardo Oyama Lins Fonseca, Frank Kirchner, and Roberto Badaró. "Application of convolutional neural networks for classification of adult mosquitoes in the field." PloS one, Vol.14, No. 1, January 2019, pp e0210829.
مدل سازی در مهندسی
دوره 20، شماره 70
مهر 1401
صفحه 107-120

فایل ها

سابقه مقاله

  • تاریخ دریافت: 25 بهمن 1400
  • تاریخ بازنگری: 03 اردیبهشت 1401
  • تاریخ پذیرش: 18 اردیبهشت 1401

هم رسانی

ارجاع به این مقاله

آمار