2023.02.10

顔映像から浮腫の度合いを推定する世界初の技術を開発〜疾患の早期発⾒や悪化防⽌に貢献〜

1989 posts

Medical news

NEC(本社：東京都港区、代表取締役執⾏役員社⻑兼 CEO：森⽥隆之、以下 NEC)と国⽴⼤学法⼈筑波⼤学(所在地：茨城県つくば市、学⻑：永⽥恭介、以下筑波⼤学)は、疾患や体調の変化などにより⽪膚組織に⽔分がたまる症状である浮腫（むくみ）の度合いを、AI を活⽤して顔映像から推定する技術を開発しました。このように AI を活⽤して顔映像から浮腫を推定する技術は世界初です（注１）。

浮腫は、腎疾患や⼼疾患、肝疾患など様々な原因で⽣じますが、その患者数は透析 34 万⼈（注２）、⼼不全 120 万⼈（注３）と推定されています。浮腫の状態を⽇常的に確認する技術は、原因となる疾患の状態の変化を把握し、慢性期の悪化防⽌や早期発⾒につながるため、その実現が期待されています。

従来、透析患者は浮腫の簡易計測⼿段として体重計を⽤いています。今回開発した、透析患者の顔映像から浮腫の度合いを推定する技術を検証した結果、従来の体重測定による計測を代替できる精度であることを確認しました。

本技術は、スマートフォンやタブレット端末のカメラで撮影した顔映像で推定ができるため、外出先や⾞いすの利⽤者でも負荷なく利⽤ができます。さらに、場所や環境の制限をうけずにデータが取得できるため、⾷事や排泄による浮腫度合いの経時変化の分析などが可能となります。

NEC と筑波⼤学は今後も連携し、本技術の向上のため更なるデータ集積を図るとともに、医療介護・ヘルスケア分野での具体的応⽤に関して探索していきます。また、NEC では 2024 年度の実⽤化を⽬指します。

【本技術の特⻑】

（1）AI で推定モデルを作成し少量の患者個⼈の顔映像で推定可能

浮腫による顔の変化はごく僅かであり、患者ごとに違いが表れる部分が異なるため、利⽤する患者ごとに浮腫による顔の変化を学習し推定モデルを構築する必要があります。しかし、⼀⼈の患者から⼤量のデータを収集することは患者の負担が⼤きくなります。本技術では複数の患者の顔映像を⽤いて顔に表出する様々な浮腫の情報を抽出する AI モデルを事前に学習します。その際に、浮腫と相関のある体重を教師データとして⽤いることで、浮腫の有無や度合いを⾼精度に事前学習する⽅式を開発しました。この事前学習した AI モデルをベースにすることで、利⽤する患者のデータが少量でも、その患者の浮腫に合わせた AI モデルを転移学習し（注 5）、推定精度を⾼めることができます。

（2）顔認証技術を応⽤した、スピーディで利便性の⾼い浮腫推定

本技術は、顔映像のみで浮腫の有無や、浮腫の度合いを推定することができます。⼈物の顔の検出には、⽶国国⽴標準技術研究所（NIST）が実施した認証技術のベンチマークテストで世界 No.1（注 6）となった NEC の顔認証技術を応⽤することで、迅速かつ正確な検出を実現しています。また、通常のカメラ映像で推定できるため、スマートフォンやタブレット端末が利⽤でき、⾼い利便性が得られます。

【評価結果】

今回は 39 名の透析患者データを⽤いて技術検証を⾏いました（注７）。本検証では、透析患者は透析前/後において、浮腫の有/無の変化が⽣じることと、その際の体重変化が余分な体液の変化とみなせることに着⽬し、客観性のある教師データとして⽤いています。

39 名から取得した約 2 万枚の画像を⽤いた検証の結果、正解率（注８）8 5％で浮腫の有無を判別し、体重変化の平均絶対誤差 0.5kg で浮腫の度合いの推定が可能であることを確認しました。この平均絶対誤差は、⼈が外観から判断が難しい浮腫の変化が判別できる⽔準であり、疾患の悪化の早期発⾒につながると考えます。

【研究代表者】

NEC バイオメトリクス研究所
宮川伸也所⻑

筑波⼤学サイバニクス研究センター
鶴嶋英夫客員准教授（研究当時：筑波⼤学医学医療系准教授）

【掲載論⽂】

題名 Edema Estimation from Facial Images Taken Before andAfter Dialysis via Contrastive Multi -Patient Pre-Training

著者 Yusuke Akamatsu, Yoshifumi Onishi, Hitoshi Imaoka, JunkoKameyama, and Hideo Tsurushima

掲載誌 IEEE Journal o f Biomedical and Health Informatic s

URL https://ieeexplore.ieee.org/document/9976202 （EarlyAccess）

DOI 10.1109/JBHI.2022.3227 517

*本研究は、NEC と筑波⼤学との共同研究契約に基づいて実施されました。

（注１）2023 年 2 ⽉ 10 ⽇時点、NEC 調べ。特許出願済。

（注２）わが国の慢性透析療法の現況https://docs.jsdt.or.jp/overview/

（注３）2055 年までの⽇本の⼼不全の将来予測https://www.jstage.jst.go.jp/article/circj/72/3/72_3_489/_article

（注４）図の顔写真は説明⽤のイメージであり、研究で⽤いたデータとは関係ありません。

（注 5）事前学習したモデルを出発点として、新たなデータを⽤いて学習する⼿法。

（注 6）⽶国国⽴標準技術研究所(NIST)による顔認証ベンチマークテストでこれまでにNo.1 を複数回獲得

https://jpn.nec.com/biometrics/face/history.html

※NIST による評価結果は⽶国政府による特定のシステム、製品、サービス、企業を推奨するものではありません。

（注７）医療法⼈ヒポクラテス⽵村内科腎クリニックにおいて、研究参加に同意いただいた患者データを収集（年齢 73.5±9.4、男性 25 名、⼥性 14 名）。透析前および透析後にタブレット端末のカメラを⽤いて約 3 分の顔映像を収集し、正⾯を向いている区間を検知して 100 枚の画像を抽出。データ収集に参加した⽇数は患者により異なり（1~10 ⽇）、のべ 39,200 枚の画像を技術検証に⽤いた。

（注８）浮腫有無の 2 クラス分類の正解率。データのうち正しく分類できた割合。

詳細▶︎https://www.tsukuba.ac.jp/journal/technology-materials/20230210100000.html

注）プレスリリースで紹介している論文の多くは、単純論文による最新の実験や分析等の成果報告に過ぎました。、さらに研究や実験を進める必要があります。、専門家の指導を受けるなど十分に配慮するようにしてください。