Изменена: 2025-02-27
Аннотация
В данной статье представлен обзор современных подходов к разработке искусственного эмоционального интеллекта (ИЭИ) с использованием методов глубокого обучения. Рассмотрены 20 статей, включающих мультимодальные и интерпретируемые модели, а также инновационные архитектуры. Особое внимание уделено модели E2E-MFERC, которая демонстрирует высокий уровень точности и применимость в образовательных сценариях. Предложен пошаговый подход к созданию модели ИЭИ, включающий сбор данных, обработку модальностей, интеграцию признаков и обучение. Результаты исследования подчеркивают важность мультимодальности, интерпретируемости и эффективности в задачах анализа эмоций.
Ключевые слова
Литература
1. Changzeng Fuabde, Fengkui Qian, Kaifeng Su, Yikai Su, Ze Wang, Jiaqi Shib, Zhigang Liu, Chaoran Liu, Carlos Toshinori Ishi HiMul-LGG: A hierarchical decision fusion-based local–global graph neural network for multimodal emotion recognition in conversation [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S08 93608024006889
2. Mohammed A. Almulla A multimodal emotion recognition system using deep convolution neural networks [Электронный ресурс] // ScienceDirect : [сайт]. — URL: X Международная научная конференция "Информационные технологии интеллектуальной поддержки принятия решений" Уфа-Баку-Чандигарх, 2024 45 https://www.sciencedirect.com/science/article/pii/S23 07187724000890
3. U. Bilotti, C. Bisogni, M. De Marsico, S. Tramonte Multimodal Emotion Recognition via Convolutional Neural Networks: Comparison of different strategies on two multimodal datasets [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S09 52197623018924
4. Francesco Di Luzio, Antonello Rosato, Massimo Panella An explainable fast deep neural network for emotion recognition [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S17 46809424012357
5. Lin Wang, Juan Zhao, Hu Song, Xiaolong Xu E2EMFERC: A Multi-Face Expression Recognition Model for Group Emotion Assessment [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/org/science/article/pii/ S1546221824004491
6. Javid Farhadi Sedehi, Nader Jafarnia Dabanloo, Keivan Maghooli, Ali Sheikhani Multimodal insights into granger causality connectivity: Integrating physiological signals and gated eye-tracking data for emotion recognition using convolutional neural network [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S24 05844024124425
7. Radha Priyadharsini G, Krishnaveni K A novel framework using binary attention mechanism based deep convolution neural network for face emotion recognition [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S26 65917423002179
8. Горяев В.М., Манкаева Г.А., Очир-Горяева Т.Б., Мантусов А.Б., Манджиева А.Н., Борисов И.В. Анализ распознавания эмоции на базе моделей глубокой конволюционной нейронной сети [Электронный ресурс] // eLibrary.ru : [сайт]. — URL: https://www.elibrary.ru/item.asp?id=52656548
9. Курицкий В.Ю., Садов С.В. Нейросетевой алгоритм распознавания эмоций человека по изображению лица [Электронный ресурс] // eLibrary.ru : [сайт]. — URL: https://www.elibrary.ru/item.asp?id=44023709
10. Shivalila Hangaragi, Tripty Singh, Neelima N Face Detection and Recognition Using Face Mesh and Deep Neural Network [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S18 77050923000546
11. Haposan Vincentius Manalu, Achmad Pratama Rifai Detection of human emotions through facial expressions using hybrid convolutional neural network-recurrent neural network algorithm [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S26 67305324000152
12. Sangeetha Rajesh, N J Nalini Instrument Emotion Recognition from Polyphonic Instrumental Music using MFCC and CENS Features with Deep Neural Networks [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S18 77050924009165
13.B. Hari Krishna, J. Sharon Rose Victor, Goda Srinivasa Rao Emotion-net: Automatic emotion recognition system using optimal feature selection-based hidden markov CNN model [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S20 90447924004131
14.Jagendra Singh, Akansha Singh, Krishna Kant Singh, Bechoo Lal, Harsh Verma, Niranjan Samudre, Harsh Raperia Real-Time Convolutional Neural Networks for Emotion and Gender Classification [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S18 7705092400810X
15.Rand Alibrahim, Heba Kurdi GANN: EEG-based Emotion Classification Using Context-Aware Gated Attention Neural Network [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S18 77050924017435
16. Dhvanil Bhagat, Abhi Vakil, Rajeev Kumar Gupta, Abhijit Kumar Facial Emotion Recognition (FER) using Convolutional Neural Network (CNN) [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S18 77050924008731
17. Petri Laukka, Kristoffer N.T. Månsson, Diana S. Cortes Neural correlates of individual differences in multimodal emotion recognition ability [Электронный ресурс] // ScienceDirect : [сайт]. — URL: https://www.sciencedirect.com/science/article/pii/S00 10945224001011
18.Ющенко А.В. Обзор методов глубокого обучения для решения задачи распознавания эмоций в человеческой речи [Электронный ресурс] // eLibrary.ru : [сайт]. — URL: https://www.elibrary.ru/item.asp?id=72742871
19. Тимофеева О.П., Неимущев С.А., Неимущева Л.И., Тихонов И.А. Распознавание эмоций по изображению лица на основе глубоких нейронных сетей [Электронный ресурс] // eLibrary.ru : [сайт]. — URL: https://www.elibrary.ru/item.asp?id=42595330
20. Нижегородова М.В., Тимошенко В.В. Разработка способа распознавания эмоций путем анализа видеоизображения на основе сверточной нейронной сети и алгоритма виолы-джонса [Электронный ресурс] // eLibrary.ru : [сайт]. — URL: https://www.elibrary.ru/item.asp?id=49242286