Методы контроля психофизиологического состояния оператора по эмоциональному выражению лица и анализу характеристик морганий на основе глубоких сверточных нейронных сетей

Проанализированы два подхода оценивания состояния оператора по видеоизображению лица с использованием глубоких сверточных нейронных сетей: 1) автоматическое распознавание эмоций; 2) анализ характеристик морганий. Исследование включало в себя оценку изменений функционального состояния оператора во время выполнения пилотажной задачи захода на посадку в ручном режиме пилотирования на авиационном тренажере. Во время пилотирования проводилась запись параметров полета системой объективного контроля и видеозапись лица оператора. Затем с помощью разработанного специального программного обеспечения выполнялось автоматическое распознавание эмоций (морганий) с синхронизацией распознанных эмоций (морганий) и записанных значений параметров полета. В результате выявлены устойчивые зависимости степени утомления оператора от числа распознанных нейросетевой моделью эмоций. Тип эмоции зависит от индивидуальных психологических характеристик каждого оператора. В проводимых экспериментах эти зависимости хорошо прослеживаются при анализе эмоций "Печаль", "Страх", "Гнев". Выявлена корреляция между характеристиками морганий и точностью пилотирования. При большей точности пилотирования регистрировалось большее число морганий оператора, что объясняется уверенным пилотированием при стабильном психофизиологическом состоянии

Работа выполнена при поддержке РФФИ (проект РФФИ №18-08-01142)

Литература

[1] Корсун О.Н., Юрко В.Н. Оценивание состояния оператора по изображению лица на основе глубоких сверточных нейронных сетей. Сб. докл. XVI Всерос. науч.-техн. конф. "Научные чтения по авиации". М., ВВИА им. Жуковского, 2019, с. 266--270.

[2] Ахметшин Р.И., Кирпичников А.П., Шлеймович М.П. Распознавание эмоций человека на изображениях. Вестник технологического университета, 2015, т. 18, № 11, с. 160--163.

[3] Mehendale N. Facial emotion recognition using convolutional neural networks (FERC). SN Appl. Sci., 2020, vol. 2, no. 3, art. 446. DOI: https://doi.org/10.1007/s42452-020-2234-1

[4] Gonzalez-Lozoya S.M., de la Calleja J., Pellegrin L., et al. Recognition of facial expressions based on CNN features. Multimed. Tools Appl., 2020, vol. 79, no. 19-20, pp. 13987--14007. DOI: https://doi.org/10.1007/s11042-020-08681-4

[5] Sun M., Tsujikawa M., Onishi Y., et al. A neural-network-based investigation of eye-related movements for accurate drowsiness estimation. Proc. IEEE EMBC, 2018, pp. 5207--5210. DOI: https://doi.org/10.1109/EMBC.2018.8513491

[6] Корсун О.Н., Тихомирова Т.А., Михайлов Е.И. Оценка состояния человека-оператора по анализу изображений лица. Вестник компьютерных и информационных технологий, 2019, № 7, с. 10--19. DOI: https://doi.org/10.14489/vkit.2019.07.pp.010-019

[7] Поликанова И.С., Леонов С.В. Психофизиологические и молекулярногенетические корреляты утомления. Современная зарубежная психология, 2016, т. 5, № 4, с. 24--35.

[8] Корсун О.Н., Михайлов Е.И. Методы анализа электроэнцефалограмм в целях оценки состояния человекаоператора в процессе пилотирования. Cloud of Science, 2018, т. 5, № 4, с. 649--663.

[9] Lin W., Li C., Sun S. Deep convolutional neural network for emotion recognition using EEG and peripheral physiological signal. In: Zhao Y., Kong X., Taubman D. (eds). Image and Graphics. ICIG 2017. Lecture Notes in Computer Science, vol. 10667. Cham, Springer, 2017, pp. 385--394. DOI: https://doi.org/10.1007/9783319715896_33

[10] Ekman P., Friesen W.V. Unmasking the face: a guide to recognizing emotions from facial expressions. ISHK, 2003.

[11] Challenges in representation learning: facial expression recognition challenge. kaggle.com: вебсайт. URL: http://www.kaggle.com/c/challengesinrepresentationlearningfacialexpressionrecognitionchallenge (дата обращения: 15.12.2020).

[12] Метод Виолы --- Джонса (Viola --- Jones) как основа для распознавания лиц. habr.com: вебсайт. URL: https://habr.com/ru/post/133826 (дата обращения: 15.12.2020).

[13] Zhang K., Zhang Z., Li Z., et al. Joint face detection and alignment using multitask cascaded convolutional networks. IEEE Signal Processing Letters, 2016, vol. 23, no. 10, pp. 1499--1503. DOI: https://doi.org/10.1109/LSP.2016.2603342

[14] Учебники TensorFlow. tensorflow.org: вебсайт. URL: https://www.tensorflow.org/tutorials (дата обращения: 15.12.2020).

[15] Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. Curran Associates, 2012, pp. 1097--1105.

[16] Korsun O.N., Yurko V.N., Mikhaylov E.I. Operator’s state estimation based on the face’s video images analysis using deep convolutional neural networks. IOP Conf. Ser.: Mater. Sci. Eng., 2020, vol. 714, art. 012012.DOI: https://doi.org/10.1088/1757899X/714/1/012012

[17] Simonyan K., Zisserman A. Very deep convolutional networks for largescale image recognition. InICLR, 2015.

[18] Simonyan K., Vedaldi A., Zisserman A. Deep inside convolutional networks: visualising image classification models and saliency maps. arxiv.org: вебсайт. URL: https://arxiv.org/pdf/1312.6034.pdf (дата обращения: 15.12.2020).

[19] Selvaraju R.R., Das A., Vedantam R., et al. GradCAM: why did you say that? Visual explanations from deep networks via gradient-based localization. arxiv.org: веб-сайт. URL: https://arxiv.org/pdf/1610.02391v1.pdf (дата обращения: 15.12.2020).

[20] Yiu Y.-H., Aboulatta M., Raiser T., et al. DeepVOG: open-source pupil segmentation and gaze estimation in neuroscience using deep learning. J. Neurosci. Methods, 2019, vol. 324, art. 108307.DOI: https://doi.org/10.1016/j.jneumeth.2019.05.016

[21] Ronneberger O., Fischer P., Brox T. U-net: convolutional networks for biomedical image segmentation. arxiv.org: веб-сайт. URL: https://arxiv.org/pdf/1505.04597v1.pdf (дата обращения: 15.12.2020).

[22] Прудников Л.А., Климов Р.С. Потенциальные возможности управления профессиональной подготовкой операторов на основе оценки психофизиологического состояния. Современное образование, 2016, № 2, с. 52--64. DOI: https://doi.org/10.7256/2409-8736.2016.2.17889