2010年代初頭から，深層学習を用いた画像処理技術が飛躍的に進歩しています．学習グループでは，画像処理をコアとした深層学習による様々な技術の開発を目的として研究を行っています．
具体的なテーマとして，骨格情報を用いた入退室管理システムの構築や，工場向けの労働災害防止のための異常検知手法の構築，三次元点群を活用した新たな人物・物体認識手法の構築を行っています．
インスタンスセグメンテーションを用いた製品の組立進捗推定
近年、AI技術の発展により工場のIoT化が進められている。中でも進捗管理の自動化は業務の効率化につながるため重要な課題となっている。本研究では定点カメラを利用した人手による製品の組立における進捗推定手法を提案する。具体的にはインスタンスセグメンテーションと呼ばれる物体検出を用いて製品の進捗推定を行う。
※本テーマは企業様との共同研究です。
 |
| 検出結果の例（左上の数字：進捗のStep） |
画像生成AIによる配管内異常検知
近年耐用年数を超えた下水道管が増加している。配管検査のためのミミズ型ロボットが開発されているが検査手法は確立していない。本研究では画像生成AIを用いて正常画像のみで配管内の異常検知を行う手法を提案する。
 |
| 実験結果 |
物体追跡のための物体検出しきい値の深層学習による最適推定
近年，工場内のIoT化が進められています．この際，製品を追跡するうえで物体追跡が使用されます．カメラを用いた物体追跡を行う場合は，正確な物体検出を合わせて行うことが必要です．
本研究では，物体検出時に設定するパラメータのしきい値を画像とBboxから深層学習によって推定します．これによって，物体検出の結果を見ながら手動でしきい値を設定する難しさや，動画のフレームごとにしきい値を個別に設定する難しさを解決し，正確な物体検出から物体追跡を行うことを提案します．
提案した手法のうち，物体検出について実験を行い，誤検出画像を25%,誤検出箇所を32%減少させることを確認しました．
労働災害防止のための異常検知手法の構築
我が国における労働環境は，外国人労働者の増加や少子高齢化の進行に伴いますます多様化しており，労働災害防止の為の自動化の取り組みは喫緊の課題です．
弊研究班では，工場内における監視カメラを活用した労働災害防止のための異常検知手法を確立するための研究も行っております．
具体的には，1:GANと呼ばれる生成モデルを時系列に拡張すること，2:Explainable AI(本テーマにおいては動画像におけるROI)の時系列拡張，3:1,2を用いた質の高い異常検知手法の考案以上3点を注力点として研究に取り組んでいます．
※本テーマは食品メーカー様との共同研究です．
 |
| 異常検知の流れ |
深層学習を用いた人物識別
はじめに，撮影された画像から人物を検出し，その人物候補領域から顔を検出する．検出された顔を入力として，事前に学習させたモデルによって各人物に対する類似度を出力する．各人物に対する類似度が閾値以下の場合，不審者として識別する．一方，閾値を超えた場合，最も高い類似度を示した人物を識別結果とする．顔検出が出来ない場合は，人物候補領域を追跡することによって人物識別判定を補間する．
差分ステレオを用いた人物検出
我々が提案している差分ステレオや影検出を用いることで，屋外環境での計測における影に対しても，人物領域の抽出ならびにその距離情報の取得を直接的に実現しています．さらに，不安定になりがちなステレオ計測に関して，差分ステレオにより抽出した前景のみに計測を限定できるため， 計測のロバスト化と高速化が可能になっています．
 |
| 差分ステレオのアルゴリズム |
 |
| 人物検出の流れ |
-関連論文-
梅田和昇，寺林賢司，橋本優希，中西達也，入江耕太, "差分ステレオ−運動領域に注目したステレオ視−の提案," 精密工学会誌，Vol.76, No.1, 2010
HOG特徴量と差分ステレオによる人物検出
監視カメラからの人流計測のために，カメラ画像から自動的に人物を検出することが重要です．そこで，差分ステレオにHOG特徴量を複数用いた人物の大まかな形を表現することが可能なJoint HOG特徴量を用いて高速で高精度な人物検出手法を提案します．
 |
| JointHOG特徴を用いた人物検出 |
-関連論文-
人物の追跡手法
人物の行動や人の流れの検出には，人物の時系列での情報が必要です．この人物の時系列情報を得るために，画像中の人物を認識・追跡する手法を提案しています． 我々の提案手法では，等速直線運動を運動モデルとしたカルマンフィルタを用いて人物の位置を予測し，実際に計測される人物の位置と比較・対応付けることで同一人物として認識し追跡します．
また，人物が画像中で重なり合うような混雑環境下においてもロバストな追跡が可能なパーティクルフィルタをベースにした手法も提案しています．
予測->計測->対応付けを繰り返して人物を追跡し，その人物の時系列での情報を取得します．
 |
| 人物追跡 |
-関連論文-
Yuma Hoshikawa, Yuki Hashimoto, Alessandro Moro, Kenji Terabayashi, Kazunori Umeda, "Tracking of Human Groups Using Subtraction Stereo," SICE Journal of Control, Measurement, and System Integration (SICE JCMSI), Vol. 4, No. 3, pp. 214-220, May 2011.
視差画像差分
カラー画像による背景差分には照明変動に対して弱いという特性があります．そこで，照明変動の影響を受けにくい視差画像を用いた，視差画像差分という手法を提案します．
背景視差画像を取得->入力された視差画像とで差分->距離値と前景領域の大きさから人物かどうかを判断という順序で人物領域を取得します．
-関連論文-
加藤 貴大, 戸田 哲郎, 増山 岳人, 梅田 和昇, "屋外での使用が可能な視差画像差分を用いた人数推定," 第23回画像センシングシンポジウム (SSII2017), IS2-19, June 2017.
人流計測手法
駅などの公共施設での災害時における人の誘導やマーケティングなど様々な場面で人流計測のニーズが高まっています．そこで，我々はKLTとボロノイ分割を用いた人流計測手法を提案しています．
 |
| 人流計測の一例(赤：進行方向右，緑：進行方向左) |
-関連論文-
