2022.10.17

仮想エージェントにより苦手なソーシャルスキルを練習するためのシステムを開発～医療機関での実証試験を開始～

2323 posts

医療ニュース

【概要】

奈良先端科学技術大学院大学（以下、奈良先端大、学長：塩﨑一裕）先端科学技術研究科情報科学領域知能コミュニケーション研究室の中村哲教授、田中宏季助教らの研究グループは、奈良県立医科大学（学長：細井裕司）精神医学講座（教室長：牧之段学）の岡﨑康輔助教らと共同で、コンピュータ画面に登場する人型の仮想エージェントによりソーシャルスキルを練習するためのシステムを開発しました。奈良県立医科大学にて、人間のトレーナが行うソーシャルスキルトレーニング（SST）のデータを収集し、それに基づいたシステムを構築しました。現在、奈良県立医科大学のグループワークやリワークプログラムにて本システムを導入するための実証試験を開始しました。

中村教授らは、自閉スペクトラム症者、統合失調症者、定型発達者を対象としたデジタルセラピューティクス（DTx：疾患に対する治療介入を提供する治療用アプリなどの総称）の構築を目指しています。医学的に根拠のある方法でシステムを開発している研究グループは国内外で少なく、医工連携データに基づいてシステムを構築したことに独自性を有しています。中村教授らが開発したシステムは、人間のトレーナが行うSST を仮想エージェントで実現します。SST システムは、PC 上で動作し、人間のトレーナのデータに基づいたロールプレイとフィードバックを行います。中村教授らは、奈良県立医科大学におけるグループデイケア、リワークプログラムにおいて、SST システムの実証試験を開始しました。SST システムが、医療リハビリテーション、デイケアの一部に組み込まれて行けば、さらに普及が進み、オンラインによる自宅での練習と合わせてソーシャルスキル向上の相乗効果が期待できます。本研究成果は、2022 年 10 月 24 日に開催されるTAPAS シンポジウムにて発表される予定です。

シンポジウム Web ページ： https://ahcweb01.naist.jp/tapas-symposium-2022/

【解説】

[SST システム]

中村教授らはコンピュータ画面に登場する人型の仮想エージェントによりソーシャルスキルを練習するためのシステムを開発しました。SST システムは PC 画面上で動作します（図 1）。SST システムでは音声認識、対話応答、音声合成、表情やジェスチャー等をプログラムすることが可能です。また、仮想エージェントの見た目の質感や性別なども変更することができます。

図 1. 開発した SST システム（左：対話ロールプレイ、右：フィードバック）

図 2. シナリオ例

[社会場面のロールプレイとフィードバック]

中村教授らは、奈良県立医科大学と共同で、SST における人間のトレーナの対話データを収集してきました。具体的には、SSTのべラック方式の基本4 タスクである、「話し方」「聞き方」「頼み方」「断り方」の様子をカメラおよび動作センサにて、人間のトレーナと成人期定型発達、成人期統合失調症、成人期自閉スペクトラム症の間で対話データを収集しました。収集したデータに基づいて SST システムにおける社会場面のロールプレイおよびフィードバックの機能を開発しました。ロールプレイ中は音声認識によりユーザの発話を認識し、システムが応答を行います（図 2 は頼み方のシナリオ例）。フィードバックでは、55種類の社会的行動の特徴セット（音声、表情、視線、ジェスチャー、発話内容など）をシステムが抽出し、それらを用いてソーシャルスキルを予測し、ユーザのよく出来ている点と改善点を提示します。システムが抽出する特徴の一部には、話題の一貫性評価のために考案した大規模言語モデルに基づく発話内容の類似度を用いています。これまでに、対話者の社会的行動に関して人間のトレーナが 5 段階で評価した 7 ラベル項目：アイコンタクト、体の向き、表情、声の変化、明瞭さ、流暢さ、社会的妥当性を予測するモデルを機械学習により構築し、図3 に示す性能を達成しました（例として 0.57 の誤差を達成：話し方における視線の評価）。

図 3.トレーナ評価と予測値の関係（R2: 決定係数、RMSE：二乗平均平方根誤差、CORREL: 相関係数）

[TAPAS プロジェクト]

TAPAS（Training Adapted Personalised Affective Social Skills with Cultural Virtual Agents）プロジェクトでは、2019 年から JST CREST の援助を得て日仏共同研究として、人間のソーシャルスキルを分析した上で複数のステップに分割し、個人に合わせたトレーニング法とトレーニングシステムの研究を進めています。

【今後の展開】

現在、人間のトレーナが行う SST の一部は、医療リハビリテーション、グループデイケア、リワークに組み込まれています。仮想エージェントによる SST システムが、これら医療リハビリテーション、デイケアの一部に組み込まれて行けば、オンラインによる自宅での練習と合わせて相乗効果が期待できます。今後、開発した SST システムを一般公開するためにウェブ化する技術を開発中です。