2025.Jan.28
EVENTS2024年度第4回BAIRAL研究会
「メンタルヘルスモニタリングの進展：マルチモーダル感情認識のためのディープラーニングフレームワーク」
◇BAIRALとは
BAIRALは、東京大学Beyond AI推進機構B’AI Global Forumの若手RA（リサーチアシスタント）が主体となり、月に一回のペースで開催している研究会です。B’AI Global Forumでは、AI社会におけるジェンダー平等とマイノリティの権利保障という社会目標の実現に向けて研究を進めております。その一環として、BAIRALではデジタル情報技術と社会の関係について理解を深めるために、隔月、様々なゲストスピーカーの方にお話しいただいております。
◇開催情報
・日時：2025年2月20日（木）17:00～18:30（日本標準時）
・ 使用言語：英語（通訳なし）
・形式：Zoomによるオンライン開催（事前申し込み不要）
https://u-tokyo-ac-jp.zoom.us/j/81781587440?pwd=VG49FYhndanKOXPIxNkEUmelAz5qAp.1
ミーティング ID: 817 8158 7440／パスコード: 250220
◇ゲストスピーカー
メイシュ・ソン（Meishu Song）、東京大学大学院教育学研究科博士課程
◇ゲスト紹介
メイシュ・ソン氏は、リサーチサイエンティストとして、マルチモーダルAIシステムおよびメンタルヘルスインフォマティクスを専門としている。彼女の研究は、ディープラーニング、マルチモーダルアンダスタンディング、およびヘルスケアアプリケーションの接点に位置し、メンタルヘルスモニタリングのための革新的なソリューションの開発に注力している。彼女は、感情認識のためのパーソナライズドマクロマイクロフレームワークの開発を先駆け、実世界での応用において顕著な成果を達成した。
ソン氏の研究は、マルチタスクラーニングおよびマルチモーダルフュージョンテクニクスにおいて多大な貢献をしており、特にDynamic Restrained Uncertainty Weighting methodologyの開発が挙げられる。彼女の研究は、ICASSPやJMIR Mental Healthといった著名な学術誌や会議で発表されている。また、彼女の学術研究は実践的な応用に成功しており、メンタルヘルスケアのためのAIプロダクトの開発につながった。
SemoAIの共同創設者およびリサーチサイエンティストとして、彼女は先進的なAI技術とアクセス可能なメンタルヘルスケアソリューションの橋渡しに尽力している。
◇趣旨
この講義では、音声および生理的信号のマルチモーダルディープラーニング解析を通じた、日常のメンタルヘルスモニタリングにおける革新的アプローチを提案する。講演者は、以下の2つの包括的データセットを紹介する。
一つ目は、342名の参加者から収集された20,827の音声サンプルを含むJapanese Daily Speech Dataset (JDSD)。二つ目は、298名の参加者から得られた6,200件のZero Crossing Mode (ZCM)およびProportional Integration Mode (PIM)信号を含むJapanese Daily Multimodal Dataset (JDMD)。これらのデータセットは、非侵襲型のウェアラブルデバイスおよびスマートフォンを用いて自然環境下で収集された。
本研究の中心的な革新は、グローバルな感情パターンと個別の特性を統合するパーソナライズドクロスモーダルトランスフォーマーメカニズムを用いたマクロ・マイクロフレームワークにある。このアーキテクチャには、Dynamic Restrained Uncertainty Weighting技術が組み込まれており、マルチモーダルフュージョンおよび損失バランスの最適化を実現する。このフレームワークは、感情認識精度において顕著な改善を示し、Concordance Correlation Coefficient (CCC)が0.503を達成し、従来のベースライン0.281を大きく上回る成果を挙げている。
高度なディープラーニング技術とマルチモーダルデータ統合を活用することで、提案されたシステムは、エコロジカルバリディティを維持しながら、持続的かつ個別化された感情状態の評価を提供することを目指す。本研究は、メンタルヘルスモニタリングにおける重要な課題を解決するためのスケーラブルかつデータ駆動型のアプローチを提示し、ラボベースの評価と実世界の応用とのギャップを埋めることで、メンタルヘルスケアの提供方法を革新する可能性を有する。
◇主催
東京大学Beyond AI研究推進機構B’AI Global Forum
◇お問い合わせ
プリヤ・ム（B’AI Global Forum リサーチ・アシスタント）
priya-mu[at]g.ecc.u-tokyo.ac.jp（[at]を@に変えてください）
BACK