Emotify — подбор музыки по эмоциям

Контекст

Музыкальные рекомендации обычно основаны на истории прослушивания, а не на том, что слушатель чувствует в данный момент, — поэтому музыку под настроение приходится искать вручную. Emotify — мой индивидуальный учебный проект (2022): веб-приложение, которое определяет эмоцию по лицу и предлагает подходящие плейлисты Spotify.

Как это работает

Emotify делает снимок с веб-камеры, классифицирует выражение лица с помощью свёрточной модели, обученной на наборе данных FER-2013, и подбирает подходящие плейлисты в Spotify. Интерфейс показывает распознанную эмоцию, уверенность модели и ранжированный список плейлистов по жанрам; цвет фона меняется в зависимости от распознанной эмоции. Приложение построено на Flask и использует адаптированный open-source-проект по распознаванию эмоций, авторство которого я указал в отчёте.

Тестирование и доработка

Я провёл юзабилити-тестирование с тремя пользователями. Все они проигнорировали кнопки съёмки и повторного снимка, значок музыки был принят за кнопку воспроизведения, а плейлист и цвет фона, меняющиеся в реальном времени, вызвали неоднозначную реакцию. В ответ я убрал значок, разделил съёмку и рекомендации на отдельные экраны, изменил оформление таблицы плейлистов и увеличил блок с распознанной эмоцией.

Чему я научился

Воплощение концепции в работающий прототип показало ограничения данных: модель распознавания эмоций была обучена на несбалансированном наборе данных, а у Spotify нет API для плейлистов по настроению, поэтому плейлисты пришлось подбирать вручную для каждой эмоции.