【概要】
奈良先端科学技術大学院大学（以下、奈良先端大、学長：塩﨑 一裕） 先端科学技術研究科 情報科学領域 知能コミュニケーション研究室の中村 哲教授、田中 宏季助教らの研究グループは、奈良県立医科大学（学長：細井 裕司）精神医学講座（教室長：牧之段 学）の岡﨑 康輔助教らと共同で、コンピュータ画面に登場する人型の仮想エージェントによりソーシャルスキルを練習するためのシステムを開発しました。奈良県立医科大学にて、人間のトレーナが行うソーシャルスキルトレーニング（SST）のデータを収集し、それに基づいたシステムを構築しました。現在、奈良県立医科大学のグループワークやリワークプログラムにて本システムを導入するための実証試験を開始しました。
中村教授らは、自閉スペクトラム症者、統合失調症者、定型発達者を対象としたデジタルセラピューティクス（DTx：疾患に対する治療介入を提供する治療用アプリなどの総称）の構築を目指しています。医学的に根拠のある方法でシステムを開発している研究グループは国内外で少なく、医工連携データに基づいてシステムを構築したことに独自性を有しています。中村教授らが開発したシステムは、人間のトレーナが行うSST を仮想エージェントで実現します。SST システムは、PC 上で動作し、人間のトレーナのデータに基づいたロールプレイとフィードバックを行います。中村教授らは、奈良県立医科大学におけるグループデイケア、リワークプログラムにおいて、SST システムの実証試験を開始しました。SST システムが、医療リハビリテーション、デイケアの一部に組み込まれて行けば、さらに普及が進み、オンラインによる自宅での練習と合わせてソーシャルスキル向上の相乗効果が期待できます。本研究成果は、2022 年 10 月 24 日に開催されるTAPAS シンポジウムにて発表される予定です。
シンポジウム Web ページ： https://ahcweb01.naist.jp/tapas-symposium-2022/
【解説】
[SST システム]
中村教授らはコンピュータ画面に登場する人型の仮想エージェントによりソーシャルスキルを練習するためのシステムを開発しました。SST システムは PC 画面上で動作します（図 1）。SST システムでは音声認識、対話応答、音声合成、表情やジェスチャー等をプログラムすることが可能です。また、仮想エージェントの見た目の質感や性別なども変更することができます。
図 1. 開発した SST システム（左：対話ロールプレイ、右：フィードバック）
図 2. シナリオ例
[社会場面のロールプレイとフィードバック]
中村教授らは、奈良県立医科大学と共同で、SST における人間のトレーナの対話データを収集してきました。具体的には、SSTのべラック方式の基本4 タスクである、「話し方」「聞き方」「頼み方」「断り方」の様子をカメラおよび動作センサにて、人間のトレーナと成人期定型発達、成人期統合失調症、成人期自閉スペクトラム症の間で対話データを収集しました。収集したデータに基づいて SST システムにおける社会場面のロールプレイおよびフィードバックの機能を開発しました。ロールプレイ中は音声認識によりユーザの発話を認識し、システムが応答を行います（図 2 は頼み方のシナリオ例）。フィードバックでは、55種類の社会的行動の特徴セット（音声、表情、視線、ジェスチャー、発話内容など）をシステムが抽出し、それらを用いてソーシャルスキルを予測し、ユーザのよく出来ている点と改善点を提示します。システムが抽出する特徴の一部には、話題の一貫性評価のために考案した大規模言語モデルに基づく発話内容の類似度を用いています。これまでに、対話者の社会的行動に関して人間のトレーナが 5 段階で評価した 7 ラベル項目：アイコンタクト、体の向き、表情、声の変化、明瞭 さ、流暢さ、社会的妥当性を予測するモデルを機械学習により構築し、図3 に示す性能を達成しました（例として 0.57 の誤差を達成：話し方における視線の評価）。
図 3.トレーナ評価と予測値の関係（R2: 決定係数、RMSE：二乗平均平方根誤差、CORREL: 相関係数）
[TAPAS プロジェクト]
TAPAS（Training Adapted Personalised Affective Social Skills with Cultural Virtual Agents）プロジェクトでは、2019 年から JST CREST の援助を得て日仏共同研究として、人間のソーシャルスキルを分析した上で複数のステップに分割し、個人に合わせたトレーニング法とトレーニングシステムの研究を進めています。
【今後の展開】
現在、人間のトレーナが行う SST の一部は、医療リハビリテーション、グループデイケア、リワークに組み込まれています。仮想エージェントによる SST システムが、これら医療リハビリテーション、デイケアの一部に組み込まれて行けば、オンラインによる自宅での練習と合わせて相乗効果が期待できます。今後、開発した SST システムを一般公開するためにウェブ化する技術を開発中です。
【発表文献】
国際会議論文 44th Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC)に本研究成果の一部が掲載されています。
タイトル：Analysis of Feedback Contents and Estimation of Subjective Scores in Social Skills Training
著者名：Takeshi Saga, Hiroki Tanaka, Yasuhiro Matsuda, Tsubasa Morimoto, Mitsuhiro Uratani, KosukeOkazaki, Yuichiro Fujimoto, Satoshi Nakamura
発表年月：2022 年 7 月
【用語解説】
（ソーシャルスキルとは）1 人以上の人との対話中における言語的および非言語的行動を管理できる能力のことを指します。他者と対話するのが困難な人々は、自らの社会的行動を適切に管理し、他者の社会的行動を解釈することを苦手にしています。
（仮想エージェントとは）コンピュータ上で動作する仮想環境上のエージェントを意味しています。仮想エージェントにより、どこにいても、例えば患者が医療機関に行かなくとも、日常的に心理士と話すように人型の仮想エージェントとの会話をすることが可能となります。
詳細▶︎http://www.naist.jp/pressrelease/2022/10/009347.html
注）プレスリリースで紹介している論文の多くは、単純論文による最新の実験や分析等の成果報告に過ぎました。 、さらに研究や実験を進める必要があります。最新の研究成果の利用に際しては、専門家の指導を受けるなど十分配慮するようにしてください。
