リスキリング（再教育）関連サービスを提供する株式会社 LiNew（本社：東京都渋谷区、代表取締役：西本 弘昌、（読み方：リニュー））は、昨年 6 月から芝浦工業大学（東京都江東区、学長：山田 純）と共に研究をしていた LiDAR 技術※1 を使用した研修システムの生成に関する技術研究報告書を、来月 3 月 1 日に開催される電子情報通信学会 SeMI 研究会※２で発表することとなりました。
【共同研究の概要】
LiDAR と環境センサを併用し、芝浦工業大学に通う学生がカリキュラムを受講している時の姿勢や周囲の環境・心拍数などの身体の状態・動向を収集いたしました。行動周期、気温や気圧などによって学修効果の変化を測定することで、仕事や学習の生産性を向上するシステムの生成を目指しました。
今回 SeMI 研究会で発表する成果は、ある一人の学生から計 700 秒取得したデータ(=LiDARのデータとして 7000 フレーム)で深層学習を行い、他の一人の学生のデータに適用し、高精度の状態検知に成功しました。また、学修シナリオを想定した 20 名程度を対象に実施した実験により、2〜12 分、最長で 30 分以上の LiDAR データおよび心拍データを取得しました。今後、これらのデータを用いて、生産性を向上するシステムの改良に取り組みます。
【共同研究の背景】
LiNew では世の中の IT エンジニア不足を解決するために未経験からエンジニア人材としてシステム開発が行えるようになるサービス「educure（エドゥキュア)」※３を提供しています。educure は人材派遣会社向けリスキリング（再教育）サービスで、2022 年 12 月の段階で全国 92 社に導入いただき、186 名のエンジニアを輩出しております。
芝浦工業大学新熊教授は、良品計画社や大阪メトロ アドエラ社などの大手企業と IoT、AIに関する共同研究を行うなど、先進的な取り組みをしています。LiNew の保有しているエンジニア育成ノウハウに、芝浦工業大学のセンシングと AI 解析技術を組み合わせることで、システム開発時のパフォーマンスを向上させる手法の創出を目指しました。
【研究成果の概要】
センサとして LiDAR を用い、3 次元データから作業中の人の状態を自動検知する深層学習AI のシステムを開発しました。シナリオとしてノートパソコンを用いた作業を想定し、コンテンツ閲覧中/マウス操作中/キーボードタイピング中/タッチパッド操作中の 4 状態を深層学習AI に自動検知させ、97%の精度を達成しました。実験では、小型(9.7cmX6.4cmX6.3cm)で安価な LIDAR センサ 2 機を用いました。LiDAR のデータはレーザーが物体で反射した空間座標の集合(点群データと呼ばれる)であり、カメラ画像データと形式が大きく異なります。
点群データに対応した深層学習 AI の研究開発はまだ発展途上で、自動運転のための車両検知や歩行者検知が主眼に置かれているため、人のパフォーマンスに着目した本成果は世界的にも極めて先進的です。歩行者や、バイク、乗用車、トラックは大きさや形状がはっきり異なるのに対し、今回の状態は手の位置や体の傾きといった微細な違いしかないため、従来は分類が困難でした。
本研究では、点群データからノイズを除去したり二次特徴を付与したりすることで、上記の高い精度を達成することに成功しました。
※1：LiDAR
Light Detection And Ranging の略称でライダーと読みます。人に無害なレーザー光を対象物に照射し、周囲の人物との位置や距離を点の集まりとして計測、集計、分析します。空間内の人物の顔などの画像・映像は認識せず、プライバシーを侵害することなく高精度な検知が可能な光センサー技術です。LiDAR は、もともと航空機のレーダーや気象観測に使用されていました。現在は、自動車の障害物や周辺車両の検出、スマートフォンのカメラなどと組み合わせて写真撮影で効果的にピントをぼかすアシストや、VR（仮想現実）・AR（拡張現実）のための技術として一部利用されています。
※2：SeMI 研究会
2019 年 4 月に設立。センサネットワークとモバイルインテリジェンス研究専門委員会（Sensor Networks and Mobile Intelligence, SeMI）は，知的環境とセンサネットワーク研究専門委員会（ASN 研専）
※3：educure
詳細▶︎https://www.u-toyama.ac.jp/wp/wp-content/uploads/20230227.pdf
注）プレスリリースで紹介している論文の多くは、単純論文による最新の実験や分析等の成果報告に過ぎました。 、さらに研究や実験を進める必要があります。 、専門家の指導を受けるなど十分に配慮するようにしてください。
