شناسایی چهره بااستفاده از تنطیم دقیق شبکه های کانولوشنی عمیق و رویکرد یادگیری انتقالی

نوع مقاله : مقاله کامپیوتر

نویسندگان

1 دانشجوی دکتری هوش مصنوعی دانشگاه سمنان

2 استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان ،

چکیده

یادگیری عمیق، یکی از رویکردهای مورد توجه در یادگیری ماشین می باشد که شامل معماری های مهمی می باشد. شبکه کانولوشنی عمیق، یکی از معماری های مورد توجه در یادگیری عمیق می باشد که در پردازش های مربوط به تصاویر دیجیتالی کاربرد فراوانی پیدا کرده است. در این پژوهش، شبکه کانولوشنی Alexnet، به منظور شناسایی چهره در عکس های ورودی، مورد استفاده قرار گرفته است. تنظیم دقیق مدل از قبل تعلیم داده شده ی Alexnet، با تبدیل لایه های کاملا متصل به لایه های کانولوشنی و اعمال فیلتر های مناسب، انجام شده است. استفاده از برش های مختلف عکس ورودی و نیز افزایش تعداد لایه های کانولوشنی به منظور استخراج خصوصیت های با سطح بالاتر به همراه فیلترهای مناسب در مدل های پیشنهادی مورد توجه قرار گرفته است. به منظور تجسم اعمال فیلترها در لایه های مختلف، از روش کانولوشن معکوس استفاده شده است. از دو پایگاه داده ی Caltech face و LFW به منظور نشان دادن نتایج، استفاده شده است. پس از پردازش های لازم بر روی پایگاه داده های مورد استفاده، نتایح به دست آمده از شبکه Alexnet، قبل و بعد از تنظیم دقیق، مورد بررسی قرار گرفته است. نتایج بررسی، حاکی از بهبود عملکرد شبکه، تحت عملیات انجام شده، می باشد.

کلیدواژه‌ها

موضوعات

عنوان مقاله [English]

Face recognition using fine-tuning of Deep Convolutional Neural Network and transfer learning

نویسندگان [English]

  • Razieh Rastgoo 1
  • kourosh kiani 2
1
2 سمنان
چکیده [English]

Deep learning is one of the most important scopes of the Machine Learning that includes some important architectures. Deep Convolutional Neural Network is one of the attractive architectures that uses in digital image processing. In this paper, we use the Alexnet model for face recognition from input images. We fine-tune the Alexnet model by converting one or two fully connected layers to convolutional layers as well as using the suitable filters. To improve the robustness of the model in coping with the situations that some parts of the input images damaged, we use five crops of the input images including five pixel areas. Furthermore, to visualize the output of each layer, we use the Deconvolution technique in our method. The output of some convolutional and activation layers has been shown. Using this technique, we obtain the Heat-map of the image. To show the results, we use the LFW and Caltech faces datasets. After pre-processing the images of datasets, we compare the results of the Alexnet model in two states: before fine-tuning and after fine-tuning. The results show the recognition accuracy improvement of the fine-tuned models on input images.

کلیدواژه‌ها [English]

  • Deep learning
  • Deep Convolutional Neural Network
  • Fine-tuning
  • Face recognition
  • Transfer learning
  • Deconvolution

مراجع

[1]    J. Heaton, “Neural Networks and Deep Learning”, Heaton Research, Vol. 3, No. 3, 2015, pp. 1-268.
[2]    R. Rastgoo, V. Sattari-Naeini, “A Neuro-Fuzzy QoS-Aware Routing Protocol for Smart Grids”, 22nd Iranian IEEE Conference on Electrical Engineering (ICEE 2014), Shahid Beheshti University, Tehran, Iran, 2014, pp. 1080-1084.
[3]    R. Rastgoo, V. Sattari-Naeini, Tuning Parameters of the QoS-Aware Routing Protocol for Smart Grids Using Genetic Algorithm, International Journal of Applied Artificial Intelligence, Vol. 30, No.1, 2016, pp. 52-76, doi: http://dx.doi.org/10.1080/08839514.2016.1138794.
[4]   F. Bordbar, R. Rastgoo, M.A. Aakarzadeh, M.S. Tavallali, Prediction of Residential Natural Gas Consumption Using Artificial Neural Network, The 9th International Chemical Engineering Congress & Exhibition (IChEC 2015) Shiraz, Iran, 26-28 December, 2015.
[5]   R. Rastgoo, V. Sattari-Naeini, GSOMCR: Multi-Constraint Genetic-Optimized QoS-Aware Routing Protocol for Smart Grids. Iranian Journal of Science and Technology, Transactions of Electrical Engineering, Vol. 42, No. 2, 2018, pp. 185-194.
[6]   R. Rastgoo, V. Sattari-Naeini, Multi-Constraint Optimal Path Finding for QoS-Enabled Smart Grids: A Neuro-Fuzzy Approach, Vol. 4, No. 2, 2017, pp. 47-61.
[7]    علی سلیمانی ایوری، محمد رضا فدوی امیری، حسین مروی، "تولید سیگنال مصنوعی زلزله به کمک مدلی جدید در فشرده سازی و آموزش شبکه هایعصبی مصنوعی"، مجله مدل سازی در مهندسی، دانشگاه سمنان، سال 14، شماره 46، پاییز 1395، صفحه 85-75.
[8]    علی نظری، "مدلسازی انرژی ضربه ی فولادهای مرتبه ای با استفاده از شبکه های عصبی مصنوعی"، مجله مدل سازی در مهندسی، دانشگاه سمنان، دوره 14، شماره 45، تابستان 1395، صفحه 162-145.
[9]    جواد احدیان، فاطمه بهروزی، "کاربرد سیستم تطبیقی ANFIS در تخمین پتانسیل تحکیم خاکهای رسی"، مجله مدل سازی در مهندسی، دانشگاه سمنان، سال 14، شماره 45، تابستان 1395، صفحه 31-17.
[10] زهرا مروج، جواد آذرخش، "شبیه سازی و طبقه بندی وقایع کیفیت توان با استفاده از شبکه عصبی"، مجله مدل سازی در مهندسی، دانشگاه سمنان، دوره 13، شماره 41، تابستان 1394، صفحه 146-137.
[11]            T. Du., V. Shanker, “Deep Learning for Natural Language Processing”,    Eeci.Udel.edu, 2009, pp. 1-7.
[12]            L. Wang, G. Wang, and D. Sng, “Deep Learning Algorithms with Applications to
Video Analytics for A Smart City: A Survey”, Computer Vision and Pattern Recognition, 2015, pp. 1-6.
[13]            I. Goodfellow, Y. Bengio, and A. Courville, “Deep learning”, MIT Press Book, 2016, pp.1-800.
[14]            R. Rastgoo, K. Kiani, and S. Escalera, “Multi-Modal Deep Hand Sign Language Recognition in Still Images Using Restricted Boltzmann Machine”, Entropy, Vol. 20, No. 11, 2018, 809; https://doi.org/10.3390/e20110809.
[15]            A. Krizhevsky, I. Sutskever, GE. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, Proceeding NIPS'12 Proceedings of the 25th International Conference on Neural Information Processing Systems, USA, pp. 1097-1105, 2012.
[16]            http://www.image-net.org/
[17]            J. Schmidhuber, “Deep Learning in Neural Networks: An Overview”, Technical Report of Lab IDSIA, 2014, pp. 1-88.
[18]            B. Marlin, K. Swersky, B. Chen, and N. Freitas, “Inductive Principles for Restricted Boltzmann Machine Learning”, Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics (PMLR), Vol. 9, pp. 509-516, 2010.
[19]            GE. Hinton, S. Osindero, Y. The, “A Fast Learning Algorithm for Deep Belief Nets”, Neural Computation, Vol. 18, 2006, pp. 1527-1554.
[20]            S. Gutstein, “Transfer Learning Techniques for Deep Neural Nets”, Ph.D Thesis, The University of Texas, 2010, pp. 1-120.
[21]            K. Simonyan, A. Zisserman, “Very Deep Convolutional Networks for Large-Scale Image Recognition”, Computer Vision and Pattern Recognition, 2015, pp. 1-14.
[22]            http://vis-www.cs.umass.edu/lfw/
[23]            http://www.vision.caltech.edu/html-files/archive.html
[24]            Y. Taigman, M. Yang, M. Ranzato, and L. Wolf, DeepFace: Closing the gap to human-level performance in face verification”, In CVPR, 2014, pp.1701–1708.
[25]            O.M. Parkhi, A. Vedaldi, A. Zisserman et al. “Deep face recognition”, In BMVC, 2015, pp. 1-6.
[26]            X. Wu, R. He, Z. Sun, and T. Tan, “A light-CNN for deep face representation with noisy labels”, arXiv preprint arXiv:1511.02683, 2015.
 
 
 
مدل سازی در مهندسی
دوره 17، شماره 58
مهر 1398
صفحه 103-111

فایل ها

سابقه مقاله

  • تاریخ دریافت: 04 آبان 1397
  • تاریخ بازنگری: 29 دی 1397
  • تاریخ پذیرش: 14 اسفند 1397

هم رسانی

ارجاع به این مقاله

آمار