یک شبکه مولد متخاصم کپسولی جدید برای طبقه‏ بندی نامتوازن تصاویر اسپرم انسان

نوع مقاله : مقاله برق

نویسندگان

1 استادیار، گروه مهندسی برق-کنترل، دانشکده فنی و مهندسی، دانشگاه بین المللی امام خمینی(ره) قزوین

2 استاد، گروه مهندسی برق-کنترل، دانشکده فنی و مهندسی، دانشگاه بین ‏المللی امام خمینی(ره) قزوین

چکیده

ناباروری مردان به عنوان یک عامل موثر، می‏تواند زندگی زوج‏های نابارور را تحت تاثیر قرار دهد. مورفولوژی سر اسپرم یک مرحله مهم در ارزیابی و بررسی مایع منی در ناباروری مردان است. کمبود نمونه‏ های مربوط به ناهنجاریهای سر اسپرم در مقایسه با نمونه‏ های سر اسپرم طبیعی، می‏تواند طبقه‌بندی تصاویر سر اسپرم را به یک مسئله طبقه‌بندی نامتوازن تبدیل کند. با عدم توانایی الگوریتم‌های طبقه‌بندی رایج، شبکه های عصبی کپسول با درنظر گرفتن ارتباطات فضایی ویژگی‏ ها، در مقایسه با سایر شبکه‏‏‏ های عمیق بستر مناسبی را برای طراحی مدل‏ های طبقه‌بندی نامتوازن فراهم می‏‏کنند. هم چنین شبکه‏ های مولد متخاصم با تولید نمونه ‏های مصنوعی مناسب کمک شایانی به بهبود طبقه‌بندی نامتوازن تصاویر می‏ کنند. به‏ همین‏ منظور در این مقاله یک معماری جدید بر اساس شبکه‏ های کپسولی و شبکه‏ های مولد متخاصم برای ارزیابی طبقه‌بندی نامتوازن تصاویر سر اسپرم انسان معرفی میگردد. بررسی و مقایسه مدل پیشنهادی با سایر مدلهای یادگیری عمیق در طبقه‌بندی متوازن و نامتوازن تصاویر سر اسپرم انسان، نشان از برتری مدل پیشنهادی داشت. در بررسی روش‏های عمومی افزایش داده با مدل پیشنهادی برای افزایش داده این نتیجه حاصل شد که روش ‏های عمومی از مقاومت کمتری در کاهش تعداد داده ‏ها نسبت به مدل پیشنهادی برخوردار است. این مدل،‏ طبقه ‏بندی متوازن تصاویر سر اسپرم را با دقت 98/1 درصد انجام داد. هم‏‏چنین مدل پیشنهادی تا عدم توازن دسته اقلیت به اکثریت 1:25، حساسیت بالای 80 درصد را حفظ کرد که نشان از عملکرد مناسب آن در طبقه‌بندی نامتوازن تصاویر اسپرم دارد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

A New Capsule Generative Adversarial Network for Imbalanced Classification of Human Sperm Images

نویسندگان [English]

  • Hamed Jabbari 1
  • Nooshin Bigdeli 2
1 Assistant Professor, Control Engineering Department, Faculty of Technical and Engineering, Imam Khomeini International University, Qazvin, Iran.
2 Professor, Control Engineering Department, Faculty of Technical and Engineering, Imam Khomeini International University, Qazvin, Iran.
چکیده [English]

Male infertility as an effective factor can affect the lives of infertile couples. Sperm morphology is an important step in evaluating and examining semen in male infertility. The lack of samples of sperm head abnormalities compared to natural sperm samples can make the classification of sperm head images into an imbalanced classification problem. With the inability of common classification algorithms, capsule neural networks (CapsNet) provide a suitable platform for designing imbalanced classification models compared to other deep networks. Also, Generative Adversarial Networks (GANs) help improve the imbalanced classification of images by producing appropriate artificial samples. To this end, in this paper a new architecture is introduced based on CapsNet and GAN to evaluate the imbalanced classification of human sperm images. Reviewing and comparing the proposed model with other deep learning models in the balanced and imbalanced classification of human sperm images showed the superiority of the proposed model. Investigating the general methods of increasing data with the proposed model to increase data, it was concluded that the general methods have less resistance to reducing the number of data than the proposed model. Balanced classification of human sperm images was done by proposed model with 98.1 % accuracy. The proposed model also maintained a high sensitivity to the minority to the majority of 1:25, indicating its proper performance in the imbalanced classification of sperm images.

کلیدواژه‌ها [English]

  • Imbalanced classification
  • Human Sperm
  • Infertility
  • Generative Adversarial Network (GAN)
  • Capsule Neural Network (CapsNet)
  • Deep Learning

مراجع

[1[ F. E. Okonofua et al., "Causes and risk factors for Male infertility: A scoping review of published studies," International Journal of General Medicine, 2022, pp. 5985-5997.
[2[ S. Cilio et al., "Beneficial Effects of Antioxidants in Male Infertility Management: A Narrative Review," Oxygen, vol. 2, no. 1, 2022, pp. 1-11.
[3[ X. Qi, F. Han, L. He, Y. Zhang, and G. Zhang, "Evaluation of microenvironment cleanliness for computer assisted sperm analysis system based on fusion of neutrosophic feasures," Computer Methods and Programs in Biomedicine, vol. 218, 2022, p. 106717.
[4[ I. Iqbal, G. Mustafa, and J. J. D. Ma, "Deep learning-based morphological classification of human sperm heads," vol. 10, no. 5, 2020, p. 325.
[5[ J. B. You, C. McCallum, Y. Wang, J. Riordon, R. Nosrati, and D. J. N. R. U. Sinton, "Machine learning for sperm selection," 2021, pp. 1-17.
[6[ M. Imani and H. J. I. f. Ghassemian, "An overview on spectral and spatial information fusion for hyperspectral image classification: Current trends and challenges," vol. 59, 2020, pp. 59-83.
[7[ I. Cordón, S. García, A. Fernández, and F. J. K.-B. S. Herrera, "Imbalance: Oversampling algorithms for imbalanced classification in R," vol. 161, 2018, pp. 329-341, 2018.
[8[ N. V. Revollo, G. Sarmiento, C. Delrieux, M. Herrera, and R. González-José, "Supervised Machine Learning Classification of Human Sperm Head Based on Morphological Features," in Trends and Advancements of Image Processing and Its Applications: Springer, 2022, pp. 177-191.
[9] حامد جباری، نوشین بیگدلی و علی خادم،"یک روش هیبریدی جدید جهت قطعه‎ بندی و تشخیص تومورهای موجود در تصاویر ماموگرافی بافت پستان"، فصلنامه بیماری‏های پستان، دوره 9، شماره 3، دی 1395، صفحه 24-14.
[10] نوشین بیگدلی، حامد جباری و نگار ملکی، "یک روش ترکیبی هوشمند برای تشخیص، مرزبندی و طبقه‌بندی توده‎‏های‏ پستان مبتنی بر ویژگی‌های بافت جدید مستخرج از دو نمای تصاویر ماموگرافی"، مجله ماشین بینایی و پردازش تصویر، دوره 5، شماره 2، آذر 1397، صفحه 83-69.
[11] نوشین بیگدلی، حامد جباری و مهدی شجاعی، "یک روش هوشمند برای طبقه‏‏بندی ترک در سازه‏ های بتنی بر اساس شبکه‏‏های عصبی عمیق"، مهندسی عمران امیرکبیر، دوره 53، شماره 8، آبان 1400، صفحه 3220-3201.
[12] جباری. حامد و بیگدلی. نوشین، "طراحی و ارزیابی یک شبکه‏ عصبی کپسولی جدید برای طبقه‏‏بندی نامتوازن تصاویر"، مجله ماشین بینایی و پردازش تصویر، دوره 9، شماره 1، فروردین 1401، صفحه 15-1.
[13[  K. Muhammad, S. Khan, J. Del Ser, V. H. C. J. I. T. o. N. N. de Albuquerque, and L. Systems, "Deep learning for multigrade brain tumor classification in smart healthcare systems: A prospective survey," vol. 32, no. 2, 2020, pp. 507-522.
[14[  M. Vannucci and V. Colla, "Genetic algorithms based resampling for the classification of unbalanced datasets," in International Conference on Intelligent Decision Technologies, 2017: Springer, pp. 23-32.
[15[  K. Polat, "A hybrid approach to Parkinson disease classification using speech signal: The combination of SMOTE and random forests," in 2019 Scientific Meeting on Electrical-Electronics & Biomedical Engineering and Computer Science (EBBT), 2019: IEEE, pp. 1-3.
[16[  G. Hu, B. Du, X. Wang, and G. Wei, "An enhanced black widow optimization algorithm for feature selection," Knowledge-Based Systems, vol. 235, 2022, p. 107638.
[17[  J. Zhang and Q. Dai, "A cost-sensitive active learning algorithm: toward imbalanced time series forecasting," Neural Computing and Applications, vol. 34, no. 9, 2022, pp. 6953-6972.
[18[  A. Creswell, T. White, V. Dumoulin, K. Arulkumaran, B. Sengupta, and A. A. J. I. S. P. M. Bharath, "Generative adversarial networks: An overview," vol. 35, no. 1, 2018, pp. 53-65.
[19[  J. Riordon, C. McCallum, D. J. C. i. b. Sinton, and medicine, "Deep learning for the classification of human sperm," vol. 111, 2019, p. 103342.
[20[  S. Javadi, S. A. J. C. i. b. Mirroshandel, and medicine, "A novel deep learning method for automatic assessment of human sperm images," vol. 109, 2019, pp. 182-194.
[21[  A. M. Yibre, B. J. E. S. Koçer, and a. I. J. Technology, "Semen quality predictive model using Feed Forwarded Neural Network trained by Learning-Based Artificial Algae Algorithm," vol. 24, no. 2, 2021, pp. 310-318.
[22[  V. Valiuškaitė, V. Raudonis, R. Maskeliūnas, R. Damaševičius, and T. J. S. Krilavičius, "Deep learning based evaluation of spermatozoid motility for artificial insemination," vol. 21, no. 1, 2021, p. 72.
[23[  H. O. Ilhan, I. O. Sigirci, G. Serbes, N. J. M. Aydin, b. engineering, and computing, "A fully automated hybrid human sperm detection and classification system based on mobile-net and the performance comparison with conventional methods," vol. 58, no. 5, 2020, pp. 1047-1068.
[24[  M. Yüzkat, H. O. Ilhan, N. J. C. i. B. Aydin, and Medicine, "Multi-model CNN fusion for sperm morphology analysis," vol. 137, 2021, p. 104790.
[25] راضیه راستگو و کورش کیانی، "شناسایی چهره با استفاده از تنطیم دقیق شبکه‏های کانولوشنی عمیق و رویکرد یادگیری انتقالی"، مجله مدل‏سازی در مهندسی، دوره 17، شماره 58، مهر 1398، صفحه 111-103.
[26] مرضیه زارع نظری، محسن سرداری زارچی، سیما عمادی و هادی پورمحمدی، "چارچوبی برای استخراج آناتومی و طبقه‏بندی تصاویر پشه با رویکرد یادگیری عمیق"، مجله مدل‏سازی در مهندسی، دوره 20، شماره 70، مهر 1401، صفحه 120-107.
[27[  M. Sarıgül, B. M. Ozyildirim, and M. J. N. N. Avci, "Differential convolutional neural network," vol. 116, 2019, pp. 279-287.
[28[  U. R. Acharya, S. L. Oh, Y. Hagiwara, J. H. Tan, H. J. C. i. b. Adeli, and medicine, "Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals," vol. 100, 2018, pp. 270-278.
[29] مسلم سردشتی بیرجندی، حسین رحمانی و سعید فراهت، "کاربرد شبکه‏های عصبی عمیق در طبقه‏بندی تصاویر آسیب‏های شبکه فاضلاب و مشخص کردن مسیرهای بحرانی آنها"، مجله مدل‏سازی در مهندسی، دوره 20، شماره 70، صفحه 132-121.
[30[  M. K. Patrick, A. F. Adekoya, A. A. Mighty, B. Y. J. J. o. K. S. U.-c. Edward, and i. sciences, "Capsule networks–a survey,"  2019.
[31[  S. Sabour, N. Frosst, and G. E. J. a. p. a. Hinton, "Dynamic routing between capsules," 2017.
[32[  Human Sperm Head Morphology dataset (HuSHeM) [Online] Available: https://data.mendeley.com/datasets/tt3yj2pf38/3
[33[  K. Wang, C. Gou, Y. Duan, Y. Lin, X. Zheng, and F.-Y. J. I. C. J. o. A. S. Wang, "Generative adversarial networks: introduction and outlook," vol. 4, no. 4, 2017, pp. 588-598.
[34[  M. Mirza and S. J. a. p. a. Osindero, "Conditional generative adversarial nets," 2014.
[35[  A. Odena, C. Olah, and J. Shlens, "Conditional image synthesis with auxiliary classifier gans," in International conference on machine learning, 2017: PMLR, pp. 2642-2651.
[36[  T. J. J. o. A. I. Vijayakumar, "Comparative study of capsule neural network in various applications," vol. 1, no. 01, 2019, pp. 19-27.
[37[  L. Yu, R. Zhou, R. Chen, and K. K. Lai, "Missing data preprocessing in credit classification: One-hot encoding or imputation?," Emerging Markets Finance and Trade, vol. 58, no. 2, 2022, pp. 472-482.
[38[  C. Shorten and T. M. J. J. o. B. D. Khoshgoftaar, "A survey on image data augmentation for deep learning," vol. 6, no. 1, 2019, pp. 1-48.
مدل سازی در مهندسی
دوره 21، شماره 73
تیر 1402
صفحه 279-294

فایل ها

هم رسانی

ارجاع به این مقاله

آمار