2025.Feb.28

REPORTS

2024年度第4回BAIRAL研究会
「メンタルヘルスモニタリングの進展：マルチモーダル感情認識のためのディープラーニングフレームワーク」報告

2024年の第4回BAIRAL研究会は、2025年2月20日に開催されました。今回は、Meishu Song 氏を招き、「メンタルヘルスモニタリングの進展：マルチモーダル感情認識のためのディープラーニングフレームワーク」という研究についてご講演いただきました。

講演では、日常のメンタルヘルスモニタリングのために感情AI技術を活用する研究について説明がありました。音声パターンや生理信号を用いたマルチモーダル分析を通じて、感情を認識・解釈し、リアルタイムで感情の変化を捉えることで、リコールバイアスを最小限に抑える手法が紹介されました。この研究では、スマートフォンアプリ、ウェアラブルデバイス、クラウドベースのデータストレージプラットフォームを含むHealth Information Technology（HIT）システムを開発し、生態学的経時的評価（Ecological Momentary Assessment, EMA） を用いた2週間の連続データ収集を可能にしました。参加者は、音声サンプルの録音、身体活動の追跡、および自己評価による感情記録を行い、Depression and Anxiety Mood Scale (DAMS) を用いて、不安、憂鬱、幸福感、心配を含む9つの感情状態を評価しました。

この研究では、日本の精神健康に関する2つのデータセットが紹介されました。Japanese Daily Mental Health Speech Dataset（JDSD） は、342名の参加者から収集された20,827の音声サンプルを含み、Japanese Daily Mental Health Multimodal Dataset（JDMD） は、298名の参加者による6,200の記録を収集し、音声データと生理データを統合して感情パターンを分析しました。研究では、音声データと生理データを統合することで、より包括的な感情の理解が可能になることが示されました。また、新たな手法を導入することで感情予測の精度を向上させ、従来の手法よりも個別化された高精度な感情認識を実現しました。さらに、この研究ではAIを活用した感情認識の進展が示されるとともに、データの多様性の拡大、リアルタイム処理の改善、モデルの解釈可能性の向上など、今後の発展のための課題も指摘されました。

総じて、この研究は、マルチモーダルデータを統合し、個別最適化された分析手法を開発することで、AIを活用したメンタルヘルス評価の発展に貢献しました。従来のメンタルヘルス評価とAIによる継続的モニタリングを結びつけることで、将来的なメンタルヘルスケアへの応用が期待されます。