Emotify — 감정 기반 음악 추천

배경

음악 추천은 보통 청취 기록을 바탕으로 이루어질 뿐, 그 순간 청취자가 어떤 기분인지는 반영하지 않습니다. 그래서 기분에 맞는 음악을 찾으려면 직접 검색해야 합니다. Emotify는 2022년에 진행한 개인 수업 프로젝트로, 얼굴에서 감정을 인식해 그에 맞는 Spotify 플레이리스트를 추천하는 웹 앱입니다.

작동 방식

Emotify는 웹캠에서 프레임을 캡처하고, FER-2013 데이터셋으로 학습한 합성곱 신경망 모델로 얼굴 표정을 분류한 뒤, Spotify에서 그에 맞는 플레이리스트를 가져옵니다. 인터페이스에는 감지된 감정, 모델의 신뢰도, 장르별로 순위를 매긴 플레이리스트 목록이 표시되며, 배경색은 감지된 감정에 따라 바뀝니다. 앱은 Flask로 제작했고 오픈소스 감정 인식 프로젝트를 응용했으며, 이 출처는 보고서에 밝혔습니다.

테스트와 개선

사용자 3명을 대상으로 사용성 테스트를 진행했습니다. 세 명 모두 캡처 및 재촬영 버튼을 무시했고, 음악 아이콘은 재생 버튼으로 오인되었으며, 실시간으로 바뀌는 플레이리스트와 배경색에 대해서는 의견이 엇갈렸습니다. 이에 따라 아이콘을 없애고, 캡처와 추천을 별도의 화면으로 분리했으며, 플레이리스트 표의 스타일을 바꾸고 감정 표시를 키웠습니다.

배운 점

콘셉트를 작동하는 프로토타입으로 구현하면서 데이터의 한계를 확인했습니다. 감정 모델은 편향된 데이터셋으로 학습되었고, Spotify는 기분 기반 플레이리스트 API를 제공하지 않아 감정별로 플레이리스트를 직접 큐레이션해야 했습니다.