−ステレオカメラを用いた街中の人計測−

  様々なセンサーで街をセンシングし，センシングした情報を街のユーザーに提供するシステムをJST CRESTのOSOITEとのプロジェクトで他大学と共同で開発しています（ムービー参照）． その中で中央大学チームでは，カメラを用いた人のセンシングを担当しています． カメラには，複雑な立体環境下でも三次元計測が簡易に行えるステレオカメラを用い，三次元計測には我々が提案している差分ステレオという手法を用いています（文献参照）． 本手法を用いて得られる三次元情報をもとに，ユーザーに提供する人の流れや人数，不審者の情報を動画中から検出することが目標です． 現在は，「人の流れ」や「不審者の検出」の実現に必要な，「人物検出」や「画像中の人物追跡」などの要素技術の研究を行っており，今後不審者の検出などにこの技術を応用していく予定です．

CREST Program Download
  Documentation of how to install and use the program can be found in CrestProgram.pdf.
  DLL file is provided to use the Crest software within other programs. A header file is given to simplify the development.
  A video shows how the Crest program performs. The movie represents the elaboration of real-time captured images. Green pixels are labeled like shadow, blue pixels are the points detected like objects or pedestrian, and then analyzed.

→CrestProgram Download(31.5MB)
-関連論文-

梅田和昇，寺林賢司，橋本優希，中西達也，入江耕太：“差分ステレオ−運動領域に注目したステレオ視−の提案”，精密工学会誌，Vol.76, No.1, 2010

Umeda, K., et al., “Subtraction Stereo -A Stereo Camera System That Focuses On Moving Regions -”, Proc. of SPIE-IS&T Electronic Imaging, Vol.7239 Three-Dimensional Imaging Metrology, 723908, 2009

人物の追跡手法

  人物の行動や人の流れの検出には，人物の時系列での情報が必要です．この人物の時系列情報を得るために，画像中の人物を認識・追跡する手法を提案しています． 我々の提案手法では，等速直線運動を運動モデルとしたカルマンフィルタを用いて人物の位置を予測し，実際に計測される人物の位置と比較・対応付けることで同一人物として認識し追跡します． この予測→計測→対応付けを繰り返して人物を追跡し，その人物の時系列での情報を取得します． -関連論文-

中西達也, 寺林賢司, 橋本優希, 星川佑磨, 梅田和昇: “差分ステレオを用いた複数人物計測”，日本機械学会ロボティクス・メカトロニクス講演会2009講演論文集，1A1-D16，2009

星川佑磨, 中西達也, 橋本優希, 寺林賢司, 梅田和昇：“色情報と差分ステレオを組み合わせた人物トラッキング”，2009年度精密工学会秋季大会学術講演論文集，2009

陰除去・物体認識・システムの応用

  カメラから得られる動画（シーン）に対してユーザーが何らかのアプローチをかけることができるシステムの構成を提案しています． アプローチの例としては，動画中の椅子の近くにいる人物を「椅子のそばの人を呼んで下さい」という形で自然に呼び出す等です． これを実現するために，差分ステレオ，陰の除去（下図：影の除去参照，緑：陰領域，青：前景領域），トラッキング，物体認識（下図：物体認識参照）を用いたシステムの構成を提案しています． 今後ユーザーが本システムを直感的に利用する為に，普通の言語（英語など）をシステムが理解できるようにしていく予定です． -関連論文-

A. Moro, M. Arie, K. Terabayashi, K.Umeda : “Fast Human Detection Algorithm Based on Subtraction Stereo for Generic Environment”, International Symposium on Computational Models for Life Sciences (CMLS-11), Toyama (Japan), 2011.

A. Moro, E. Mumolo, M. Nolich, K.Umeda : “Real-Time GPU Implementation of an Improved Cars, Pedestrian and Bicycles Detection and Classification System”, Intelligent Transportation System Conference (ITSC 2011), Washington DC (USA), 2011.

A. Moro, K. Terabayashi, K.Umeda, and E. Mumolo : “A Framework for the Detection and Interaction with Pedestrian and Objects in an Unknown Environment,” 7th International Conference on Networked Sensing Systems (INSS2010), 2010

A. Moro, K. Terabayashi, K.Umeda : “Detection of Moving Objects with Removal of Cast Shadows and Periodic Changes Using Stereo Vision”, 20th International Conference on Pattern Recognition (ICPR2010), Instanbul (Turkey), 2010

HOG特徴量と差分ステレオによる人物検出

  監視カメラからの人流計測のために，カメラ画像から自動的に人物を検出することが重要です．そこで，我々は前景領域のみに距離計測を限定する差分ステレオを提案しています． 本研究では，差分ステレオに人物の大まかな形を表現することが可能なHOG特徴量を用いた高速で高精度な人物検出手法を提案します． -関連論文-

有江誠, モロアレッサンドロ, 星川佑磨, 生形徹, 寺林賢司, 梅田和昇: “HOG特徴量と差分ステレオによる人物検出”，日本機械学会ロボティクス・メカトロニクス講演会2010講演論文集，2P1-D17，2010

複数人物のセグメンテーション手法

  カメラ画像内には人物の重なりが多く発生するため，距離画像のセグメンテーションにより人物を個々に分ける手法を提案しています． ステレオカメラで得た前景の距離情報を投影し，Mean shiftクラスタリングを用いることで実時間処理でのセグメンテーションを可能にします．また，本提案手法は部屋や廊下などの環境に適しています. -関連論文-

生形徹, モロ アレッサンドロ, 星川佑磨, 有江誠, 寺林賢司, 梅田和昇: “差分ステレオを用いた複数人物のセグメンテーション”，日本機械学会ロボティクス・メカトロニクス講演会2010講演論文集，1P1-E05，2010