①DepthAIの標準モデル使って物体を検出する

1-1）オプションを指定しないで実行

まずは何もオプションを使用せずにコマンドを実行してます。これにより、RGBカメラの映像に対し標準モデルでの物体検出が行われます。

python depthai_demo.py

実行結果

300px角ほどの小さなウィンドウが表示され、カメラ映像上に検出結果が境界ボックスで表示されました。

OAK-1、OAK-Dの両方で試しましたが、検出精度や画質などに違いは見られませんでした。境界ボックスには分類されたモデル名と一致率、座標などが表示されるようです。検出結果が正しいかどうかは、あらためて別の機会に検証を行いたいと思います。

1-2）-dd オプションを追加

python depthai_demo.py -dd

実行結果

同じようにRGBカメラの映像と検出結果が表示されましたが、境界ボックスには物体の座標情報の表示がなくなっています。-dd オプションにより、深度計算が無効になっています。

単純に物体の分類だけを行いたい場合には便利なオプションです。

1-3）-ff オプションを追加

python depthai_demo.py -ff

実行結果

今回は、ウィンドウ自体のサイズはこれまでと同じですが、RGBカメラの映像が横方向に圧縮されています。-ff オプションにより、カメラのアスペクト比が維持されない代わりに、全視野を検出対象にすることができます。

表示される検出対象の縦横比が実際と異なる点が気にならなければ、このオプションを使用した方がより広範囲の検出ができるため便利です。

1-4）標準モデルで検出可能な物体について

標準搭載の検出モデルは、PASCAL VOC 2007のデータセットでトレーニングされたモデルということなので、以下の22項目を対象とした分類が可能です。

②他のトレーニング済みモデルを使用する

DepthAIでは、標準の検出モデル以外に、OpenVINO™の事前トレーニング済みモデルが利用できます。

2-1）運転支援のための車両検出

-cnn オプションを使って、検出モデル名を指定します。

python depthai_demo.py -dd -cnn vehicle-detection-adas-0002

実行結果

運転席から見た風景に近いものを用意し、OAK-1で撮影しました。やや大きめのウィンドウが表示され、RGBカメラの映像上にしっかり検出結果が境界ボックスで表示されました。

遠くに見える小さな対向車や縦列駐車しているため、重なって写っている車も認識されています。

2-2）車両とナンバープレートの検出

同じ用に -cnn オプションを使って、検出モデル名を指定します。

python depthai_demo.py -dd -cnn vehicle-license-plate-detection-barrier-0106

実行結果

こちらの検出結果は、小さなウィンドウで表示されました。「ナンバープレート」の検出は単体で行われるのではなく、「車に取り付けられたナンバープレート」のようです。確認のため、ナンバープレートだけが写ったものものと比較してました。

紹介した写真以外でも色々試した結果、軽自動車の「黄色」や、広告写真用に取り付けられた「色付き」のダミープレートが比較的よく認識されました。憶測ですが、学習用に使用されたナンバープレートのサンプルが、日本のものと異なる派手なカラーリングが多い海外のものだったのかも知れません。

2-3）複数のモデルを組み合わせて使用する

-cnn オプションで1つ目の検出モデル、-cnn2 オプションで2つ目の検出モデルを指定することができます。1つ目のモデルでの検出領域が2つ目のモデルの検出対象の領域に使用されるため、2つのモデルの組み合わせはよく考えて使用する必要があります。

python depthai_demo.py -dd -cnn face-detection-adas-0001 -cnn2 facial-landmarks-35-adas-0002

こちらは、まず（運転支援用の）「顔認証」を行い、その結果を利用して「顔のランドマーク検出」を実行せるためのコマンドです。

実行結果

人物の写真を使って試したところ、このように「顔」の部分が境界ボックスで示され、その領域に対し「目、鼻、口、輪郭」のキーポイントのランドマーク座標が表示されています。

コード実行中、フレームレートが13fps程度まで落ちていましたが、特に気にならないレベルでした。また、複数の顔が認証された場合は、「一致率が最大の顔」に対しランドマーク検出が行われ、顔が全く認証されなかった場合は、ランドマーク検出も行われませんでした。

2-4）利用可能なトレーニング済みモデルについて

デモ用プログラムに含まれているOpenVINO事前トレーニング済みモデルは以下のとおりです。なお、OpenVINO事前トレーニングモデルの一部が、こちらのリポジトリからダウンロードできます。

ヘルプの表示

python depthai_demo.py -h

で、ヘルプコマンドで表示された内容がご覧いただけます。