ВИКОРИСТАННЯ НЕЙРОННИХ МЕРЕЖ ДЛЯ РОЗПІЗНАВАННЯ ДІЙ ЛЮДИНИ ПО ВІДЕО

Abstract

Розпізнавання дій людини по відео є важливою задачею в області комп’ютерного зору, яка знаходить широке застосування у різних сферах діяльності людини.
У даній роботі розглянуто методи розв’язання даної задачі з використанням штучних нейронних мереж. Описано два підходи застосування нейронні мереж: Transfer Learning та метод зміни простору. Метод Transfer Learning дозволяє використовувати досвід, отриманий під час розв’язання однієї задачі, для розв’язання іншої. Метод зміни простору полягає у використанні прогнозу попередньо-навченої моделі, як вхідних ознак для ще однієї нейронної мережі. У якості такої нейронної мережі обирали мережі різних архітектур з повнозв’язними шарами або шаром LSTM.
Також були використані попередньо-треновані мережі MobileNet, ResNet та DenseNet.
Реалізацію розглянутих нейронних мереж здійснено за допомогою бібліотеки Keras. Для навчання моделей використано два типи вхідних даних: відео фрагменти та координати суглобів у просторі.
Для класифікації дій людини за координати суглобів у просторі також застосовували класичні алгоритми машинного навчання: метод найближчих сусідів, логістична регресія, випадковий ліс та метод опорних векторів.
Досліджено ефективність використання запропонованих моделей для розпізнавання дій людини по відео за долею правильних відповідей на тестовій виборці і часом навчання.