تشخیص دیپ فیک در تصویر با استفاده از مدل ترکیبی مبتنی بر شبکه عصبی کانولوشنی عمیق

نوع مقاله : مقاله کامپیوتر

نویسندگان

1 1. دانشجوی کارشناسی، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان

2 استادیار، دانشکده مهندسی برق و کامپیوتر، دانشگاه سمنان

چکیده

دیپ‌فیک به دسته‌ای از داده‌های جعلی و مصنوعی اطلاق می‌گردد که در آن محتوای جعلی بر اساس محتوای موجود تولید می‌گردد. این محتوا می‌تواند شامل تصویر، ویدیو و سیگنال‌های صوتی باشد. تولید دیپ‌فیک مبتنی بر شبکه-های زایشی عمیق می‌باشد که موجب دستکاری داده‌ها یا تولید تصاویر و ویدیوهای ساختگی استفاده می‌شود. در سال‌های اخیر، مطالعات زیادی برای درک نحوه عملکرد دیپ‌فیک‌ها انجام شده است و روش‌های بسیاری مبتنی بر یادگیری عمیق برای شناسایی ویدیوها یا تصاویر تولید شده توسط دیپ‌فیک و نیز تمایز آنها از تصاویر واقعی معرفی شده‌ است. به منظور بهبود دقت تشخیص دیپ‌فیک و نیز استفاده همزمان از قابلیت‌های انواع مختلف شبکه‌های عصبی کانولوشنی، در این مقاله، یک مدل ترکیبی با استفاده از چهار شبکه عصبی کانولوشنی ِDenseNet201، EfficientNetB2، Inception-ResNet-V2 و ResNet152 ارائه می‌گردد. با تکیه بر قابلیت‌های بالای این شبکه‌ها در استخراج ویژگی‌های موثر از تصویر ورودی، مدل پیشنهادی قادر به تشخیص همزمان دیپ‌فیک بودن یا نبودن تصویر ورودی توسط این چهار مدل می‌باشد. نتایج ارائه شده بر روی سه پایگاه داده 140k real and fake faces، DFDC faces و Deepfake and real images حاکی از بهبود نتایج نسبت به مدل‌های موجود می‌باشد.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

Deepfake image detection using a deep hybrid convolutional neural network

نویسندگان [English]

  • Fahimeh Bagherzadeh 1
  • Razieh Rastgoo 2
1 B.Sc. Student, Faculty of Electrical and Computer Engineering, Semnan University, Semnan, Iran
2 Assistant Professor, Faculty of Electrical and Computer Engineering, Semnan University, Semnan, Iran
چکیده [English]

Deepfake refers to a category of fake and artificial data in which fake content is produced based on existing content. This content can include image, video and audio signals. Deepfake production is based on deep generative networks that manipulate data or produce fake images and videos. In recent years, many studies have been conducted to understand how deepfakes work, and many methods based on deep learning have been introduced to identify videos or images produced by deepfakes and distinguish them from real images. In order to improve the accuracy of deep-fake detection and simultaneously use the capabilities of different types of convolutional neural networks, in this article, a hybrid model is presented using four convolutional neural networks: DenseNet201, EfficientNetB2, Inception-ResNet-V2, and ResNet152. turns Relying on the high capabilities of these networks in extracting effective features from the input image, the proposed model is able to simultaneously recognize whether the input image is deep or not by these four models. The results presented on the three databases of 140k real and fake faces, DFDC faces and Deepfake and real images indicate the improvement of the results compared to the existing models.

کلیدواژه‌ها [English]

  • Deepfake
  • Deep learning
  • Deep Convolutional Neural Network
  • Accuracy
  • Fake images