РАСПОЗНАВАНИЕ АКТИВНОСТИ ЧЕЛОВЕКА ПО ВИДЕОДАННЫМ
Аннотация
Настоящая работа посвящена решению задачи классификации вида физической активности человека по визуальным данным. Авторами предложено использование глубинных нейронных сетей с целью определения типа активности. Системы распознавания человеческой активности по видеоданным или отдельному изображению в настоящее время находят активное применение в различных областях человеческой деятельности от приложений для обучения занятиям спортом до системы контроля эффективности сотрудников предприятия, поэтому решение задачи распознавания действий человека по визуальным данным является актуальной задачей. Авторами разработан алгоритм определения типа физической активности по визуальным данным на основе моделей DenseNet121 и MobileNetV2, а затем самостоятельно построена модель глубокой нейронной сети, так как предварительно обученные сети не давали необходимой точности обнаружения типа физической активности, выполнен подбор гиперпараметров. Программная реализация модели выполнена в среде IDLE на языке программирования Python. Экспериментальные исследования, выполненные на специализированном наборе данных UCF50, содержащем 50 различных видов действий человека, подтверждают эффективность использования предложенного подхода для решения поставленной задачи. Дополнительно репрезентативность тестового набора данных увеличена с помощью видеопоследовательностей, полученных с YouTube.
Цель – разработка алгоритма определения физической активности человека по визуальным данным.
Метод или методология проведения работы: в работе использованы методы компьютерного зрения; методы глубокого обучения, а также методы объектно-ориентированного программирования.
Результаты: разработан алгоритм отслеживания физической активности человека по визуальным данным с применением технологий глубокого обучения.
Область применения результатов: применение полученных результатов целесообразно в системах мониторинга деятельности человека, например, при отслеживании преступной деятельности в работе правоохранительных органов, в медицинской диагностике, для отслеживания активности сотрудников офиса и др.
Скачивания
Литература
Список литературы
Николенко С. Глубокое обучение / С. Николенко, А. Кадурин, Е. Архангельская. СПб.: Питер, 2018. 480 с.
Андреас М. Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными. М.: Альфа-книга, 2017. 487 c.
Плас Д. Python для сложных задач. Наука о данных и машинное обучение. Руководство. М.: Питер, 2018. 759 c.
Chen Y., Guo M., Wang Z. An improved algorithm for human activity recognition using wearable sensors // 2016 Eighth International Conference on Advanced Computational Intelligence (ICACI). IEEE, 2016. С. 248-252.
Dong Y. et al. Dezert-Smarandache theory-based fusion for human activity recognition in body sensor networks // IEEE Transactions on Industrial Informatics. 2020. Т. 16. № 11. С. 7138-7149.
Pigou L. et al. Beyond temporal pooling: Recurrence and temporal convolutions for gesture recognition in video // International Journal of Computer Vision. 2018. Т. 126. № 2. С. 430-439.
Gadzicki K., Khamsehashari R., Zetzsche C. Early vs late fusion in multimodal convolutional neural networks // 2020 IEEE 23rd International Conference on Information Fusion (FUSION). IEEE, 2020. С. 1-6.
Ullah A. et al. Action recognition in video sequences using deep bi-directional LSTM with CNN features // IEEE access. 2017. Т. 6. С. 1155-1166.
Luo Y. et al. Lstm pose machines //Proceedings of the IEEE conference on computer vision and pattern recognition. 2018. С. 5207-5215.
Sargano A. B., Angelov P., Habib Z. A comprehensive review on handcrafted and learning-based action representation approaches for human activity recognition //Applied sciences. 2017. Т. 7. №. 1. С. 110.
UCF50 – Action Recognition Data [Электронный ресурс]. https://www.crcv.ucf.edu/data/UCF50.php (дата обращения: 12.10.2022)
Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K.Q. Densely connected convolutional networks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition – 2017.
Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., Chen, L.C. MobilenetV2: inverted residuals and linear bottlenecks // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition – 2018.
IDLE // Python 3.11.0 Documentation [Электронный ресурс]. https://docs.python.org/3/library/idle.html (дата обращения: 30.10.2022).
YouTube [Электронный ресурс]. https://www.youtube.com/ (дата обращения: 30.10.2022)
References
Nikolenko S., Kadurin A., Arkhangel’skaya E. Glubokoe obuchenie [Deep learning]. SPb.: Piter, 2018, 480 p.
Andreas M. Vvedenie v mashinnoe obuchenie s pomoshch’yu Python. Rukovodstvo dlya spetsialistov po rabote s dannymi [Introduction to Machine Learning with Python. A guide for data scientists]. M.: Al’fa-kniga, 2017, 487 p.
Plas D. Python dlya slozhnykh zadach. Nauka o dannykh i mashinnoe obuchenie. Rukovodstvo [Python for complex tasks. Data Science and Machine Learning. Guide]. M.: Piter, 2018, 759 p.
Chen Y., Guo M., Wang Z. An improved algorithm for human activity recognition using wearable sensors. 2016 Eighth International Conference on Advanced Computational Intelligence (ICACI). IEEE, 2016, pp. 248-252.
Dong Y. et al. Dezert-Smarandache theory-based fusion for human activity recognition in body sensor networks. IEEE Transactions on Industrial Informatics, 2020, vol. 16, no. 11, pp. 7138-7149.
Pigou L. et al. Beyond temporal pooling: Recurrence and temporal convolutions for gesture recognition in video. International Journal of Computer Vision, 2018, vol. 126, no. 2, pp. 430-439.
Gadzicki K., Khamsehashari R., Zetzsche C. Early vs late fusion in multimodal convolutional neural networks. 2020 IEEE 23rd International Conference on Information Fusion (FUSION). IEEE, 2020, pp. 1-6.
Ullah A. et al. Action recognition in video sequences using deep bi-directional LSTM with CNN features. IEEE access, 2017, vol. 6, pp. 1155-1166.
Luo Y. et al. Lstm pose machines. Proceedings of the IEEE conference on computer vision and pattern recognition, 2018, pp. 5207-5215.
Sargano A. B., Angelov P., Habib Z. A comprehensive review on handcrafted and learning-based action representation approaches for human activity recognition. Applied sciences, 2017, vol. 7, no. 1, p. 110.
UCF50 – Action Recognition Data. https://www.crcv.ucf.edu/data/UCF50.php
Huang, G., Liu, Z., Van Der Maaten, L., Weinberger, K.Q. Densely connected convolutional networks. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition – 2017.
Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., Chen, L.C. MobilenetV2: inverted residuals and linear bottlenecks. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition – 2018.
IDLE // Python 3.11.0 Documentation. https://docs.python.org/3/library/idle.html
YouTube. https://www.youtube.com/
Просмотров аннотации: 138 Загрузок PDF: 140
Copyright (c) 2023 Anna V. Pyataeva, Mikhail A. Merko, Vladislava A. Zhukovskaya, Alena A. Kazakevich
Это произведение доступно по лицензии Creative Commons «Attribution-NonCommercial-NoDerivatives» («Атрибуция — Некоммерческое использование — Без производных произведений») 4.0 Всемирная.
