はじめに
この記事は、ロボット仕分けシステムプロジェクトの第2部であるコンピュータビジョンについて、その進捗を記録するものです。第1部の進捗については、Setting up a Single-Board Computer for Roboticsで説明しています。内容を振り返ると、このプロジェクトでは、シングルボードコンピュータ(BeagleY-AI、2820-102991834-ND)を使用して、産業用ロボットアーム(igus ReBeL 6DOF、4903-REBEL-6DOF-02-ND)とカメラモジュール(Arducamの 4679-B0292-ND )を制御しています。この3つを連携させ、テーブル上に広げられた電子部品をピックアップして、仕分け用の容器に入れることを目的としています。この記事では、Beagleにコンピュータビジョンを実装するプロセスに焦点を当てます。内容は、カメラ制御、画像処理、および機械学習の3つのセクションで構成されています。必要に応じて、前提となる理論についても簡潔に説明します。
パート1:視覚の獲得
コンピュータビジョンを動作させるための最初のステップは、カメラを設定することです。前述のように、ここではArducamを使用します。USB-Aケーブルを使用してBeagleに接続します。プログラミングには、OpenCVを使用します。
まず、Beagleのファイルシステム内に仮想環境を作成します。
python3 -m venv venv
仮想環境を有効にします。
source venv/bin/activate
最後に、OpenCV、NumPy、およびpillowをインストールします。
python3 -m pip install opencv-python numpy pillow
次に、コンピュータビジョンのコードを格納するスクリプトを作成します。Arducam Wikiは、作業を始めるうえで非常に有用な資料です。
import cv2
# open video0 for camera capture
cap = cv2.VideoCapture(0)
# Configure camera parameters
cap.set(cv2.CAP_PROP_FOURCC, cv2.VideoWriter_fourcc(*'MJPG')) # specify video codec
cap.set(cv2.CAP_PROP_BRIGHTNESS, 32)
cap.set(cv2.CAP_PROP_CONTRAST, 0)
cap.set(cv2.CAP_PROP_AUTOFOCUS, 0) # turn off autofocus
cap.set(cv2.CAP_PROP_FOCUS,110) # set our own custom focus
cap.set(cv2.CAP_PROP_BUFFERSIZE, 1) # internal buffer will store 1 frame at a time
# set to maximum resolution as given by datasheet
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 3264)
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 2448)
while(True):
# Capture frame-by-frame
ret, frame = cap.read()
# Display the resulting frame
cv2.imshow('frame', frame)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
# When loop exits, release the capture
cap.release()
cv2.destroyAllWindows()
上記は、ライブカメラ映像を表示する単純なプログラムであり、「q」を押すと終了します。有効化した仮想環境内で実行できます。
python3 camera_capture.py
問題が発生した場合は、カメラが正しいUSBポートに接続されていることを確認してください。また、以下のパッケージを使用して、V4L2でカメラをデバッグできます。
apt install v4l2-utils
以下のように、接続されているすべてのV4L2デバイスを一覧表示できます。
v4l2-ctl --list-devices
出力例は以下のとおりです。
e5010 (platform:fd20000.jpeg-encoder):
/dev/video0
サポートされている動画フォーマットを確認し、それに合わせてコードを変更することもできます。
v4l2-ctl --list-formats -d 0 # 0 is video0
出力例は以下のとおりです。
ioctl: VIDIOC_ENUM_FMT
Type: Video Capture Multiplanar
[0]: 'JPEG' (JFIF JPEG, compressed)
これでカメラのセットアップが完了したため、画像処理に進むことができます。
パート2:部品と紙の識別
部品をどこでピックアップするかについて、システムにある程度の知能を持たせるには、背景と区別して電子部品を認識する方法をシステムに指示する必要があります。このプロジェクトでは、カメラをテーブルの上方に設置し、テーブルを白いプリンタ用紙で覆うことにより、カメラで取り込んだ画像の背景がきれいな白になるようにしています。部品の認識に関する部分では、基本的な画像処理を使用します。さまざまな変換、平滑化処理、エッジ検出アルゴリズムなどを試した結果、十分な性能が得られる一連の画像処理として、適応的閾値処理、モルフォロジ収縮、および輪郭抽出を採用しました。
閾値処理では、特定の輝度の「閾値」に基づいて、グレースケール画像を白黒画像に変換します。閾値を上回るピクセルは255(白)に設定され、閾値を下回るピクセルは0(黒)に設定されます。このプロジェクトでは、画像全体に一定の閾値を使用するのではなく、適応的閾値処理を使用し、画像内の複数の領域について複数の閾値を算出します。これにより、画像内の複数の部分に存在する背景の微妙な違いに対応できます。用紙が重なっている部分は、重なっていない部分と色が異なるため、この処理は今回の用途に適しています。
モルフォロジ収縮とは、言うまでもなく、閾値処理後の白い領域のサイズを縮小する処理です。閾値処理後に現れる白い形状の外側の層が削り取られ、細くなります。これは、ノイズを除去する場合に特に有効であり、今回のアプリケーションでは、電子部品のピンやリード線を除去する場合に有効です。モルフォロジ収縮の逆はモルフォロジ膨張であり、白い領域があらゆる方向に拡大します。
輪郭抽出では、これらすべての形状の周囲に輪郭線を描画します。白いピクセルと黒いピクセルの境界にある連続した点に沿って曲線を描画します。これらの形状の周囲にバウンディングボックスを描画し、その中心を求めることで、部品をピックアップする位置となる中心座標を取得できます。
出典:https://medium.com/thedeephub/mastering-contouring-in-opencv-a-comprehensive-guide-10e6fe2a069a
これらの処理をコードに実装するために、 OpenCVには、入力画像を受け取り、出力画像を返す関数が用意されています。
フレームを読み込み、グレースケールに変換する必要があります。
while (True):
ret, frame = cap.read()
img = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
その後、直前の処理結果に対して、各処理を順次適用できます。
# adaptive thresholding -- calculates thresholds, at regions of size 100x100, minus 30
img = cv2.adaptiveThreshold(img, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY_INV, 100, 30)
# morphological erosion -- applies erosion 5 times, with a kernel of size 2x2
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (2, 2))
img = cv2.morphologyEx(img, cv2.MORPH_ERODE, kernel, 5)
# contouring -- approximates contours in simple mode, and retrieves them in external mode
contours, hierarchy = cv2.findContours(img, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cv2.drawContours(img, contours[:len(contours)], -1, (0, 255, 0), 3)
有用なドキュメントへのリンクをいくつか示します。
輪郭のリストを整理することもできます。
# get list of contour areas
cnt_areas = np.fromiter((cv2.contourArea(cnt) for cnt in contours), dtype=np.float64, count=len(contours)
# keep all contours with areas greater than 100 pixels
order = np.argsort(cnt_areas)[::-1]
keep = cnt_areas[order] >= 100
order = order[keep]
contours = tuple(contours[i] for i in order)
# draw these contours onto the image
cv2.drawContours(img, contours[:len(contours)], -1, (0, 255, 0), 3)
バウンディングボックスを描画することもできます。
rects = tuple(cv2.minAreaRect(cnt) for cnt in contours[:len(contours)])
boxes = tuple(np.round(cv2.boxPoints(r)).astype(int) for r in rects)
cv2.drawContours(img, boxes, -1, (0, 0, 255), 3)
これらの矩形から、カメラ座標空間内における各部品の座標を特定し、その座標をロボットアームの座標空間に変換して、ロボットアームを動かすことができます。
注:ここでは、「ピクセル座標」と「カメラ座標」という用語を同じ意味で使用します。どちらも、OpenCVが画像を各ピクセルの色ベクトルの行列として格納することで、各ピクセルの位置が座標で表される仕組みを指します。
たとえば、画像内の最初の矩形から中心座標を抽出し、別の座標系に変換できます。
# rectangle center coordinates
r_center_x, r_center_y = rects[0]
comp_robot_x, comp_robot_y = pixel_to_robot_coords(r_center_x, r_center_y)
pixel_to_robot_coords()は、2つの座標空間の間で座標を変換するための関数であり、以下のようになります。
def get_robot_coords(r_center_x, r_center_y):
robot_y = -0.24 * r_center_x + 228.52
robot_x = -0.2528 * r_center_y + 421.39
return robot_x, robot_y
この関数は、ピクセル/カメラ座標をロボット座標への線形回帰によるマッピングで取得したパラメータを使用して、各軸について単純な計算を行います。
このマッピングでは、ロボットアームを特定の位置(たとえば(x:300、y:-250))に移動し、その位置に色付きのステッカで印を付け、色検出スクリプトを使用して、その位置がカメラ上でどの座標として認識されるかを特定し、そのデータを記録する必要がありました。カメラがまっすぐ配置されている(テーブルに対する回転ずれがない)と仮定したため、ロボットのy座標はピクセルのx座標の関数となり、ロボットのx座標はピクセルのy座標の関数となることが分かりました。
画像処理を適用してテーブル上の電子部品のピクセル座標を特定し、それらをロボット基準の座標に変換することで、ロボットアームを動かして部品を自律的にピックアップできるようになりました。
パート3:部品同士の識別
ピックアップの次のステップは配置であるため、それぞれの部品が何であるかに基づいて、部品をどこに配置するかをBeagleに学習させる必要があります。このために、機械学習を使用し、AIモデルをBeagle上に直接展開します。画像分類は、具体的には畳み込みニューラルネットワーク(CNN)を使用して行います。CNNは、一連の入力画像を受け取り、計算負荷の高いトレーニングセッションを重ねながら、画像クラス(たとえば、猫、犬、ネズミ)を構成するパターンを識別します。学習中には、元の画像に一連のフィルタを適用し、これらのパターン(特徴量とも呼ばれます)のどの組み合わせが画像クラスの正確な判別に役立つかを判断しようとします。
出典:https://medium.com/dataseries/visualizing-the-feature-maps-and-filters-by-convolutional-neural-networks-e1462340518e
このプロジェクトでは、一般的な形状やパターンをすでに識別できる事前学習済みモデルを使用します。これは転移学習と呼ばれます。モデルにどう見るかを学習させる必要はなく、何を見るかを学習させます。このために、モバイルおよび組み込みアプリケーションのコンピュータビジョン向けに設計された効率的なCNNアーキテクチャであるMobileNet V2を使用します。また、Googleが提供している Colabと呼ばれるクラウドベースのプラットフォームも使用します。このプラットフォームでは、一定の利用上限までは無料で、さまざまなハードウェアアクセラレータ(CPU、GPU、TPU)にオンラインでアクセスして使用できます。
Google ColabではJupyter Notebookを使用するため、TensorFlowなどのPythonベースの機械学習フレームワークを使用して、モデルのトレーニングとテストを行うことができます。
最初に行うことは、データの収集です。部品の種類を推定する前に、Beagle上の画像処理によって得られた座標を使用し、対象の部品を中心とする小さな領域を元の大きな画像から切り出す必要があります。
OpenCVを使用してキーを押したときにカメラ画像を保存するスクリプトを作成し、それぞれに多数の部品が含まれる24枚の画像を生成しました。次に、GIMP(GNU 画像編集プログラム)を使用して個々の部品の周囲を切り出し、各部品の周囲の300 x 300の領域を画像として素早く保存しました。
最終的に、モデルのトレーニングに使用する1,300枚以上の画像が得られました。他の部品が互いのバウンディングボックス内に入り込まないとは考えにくいため、画像内に他の部品を残すことにしました。これは、他の部品が写り込んでいても、モデルが画像の中央にある部品のみを分類できるようにするためです。また、対象となる部品が画像の正確な中央に位置しない場合も考慮する必要があります。そのため、300 x 300の切り出し画像を用意し、そこからランダムな点を中心に160 x 160の領域を切り出します。これにより、画像処理スクリプトと、それが返すピクセル座標によって生じるばらつきを許容できます(このスクリプトは、ピクセル座標とロボット座標の両方を返します)。
ここからはGoogle Colabに移り、TensorFlowの転移学習Notebookを利用して、前述の事前学習済みモデルを使用します。
Jupyter Notebookには手順が包括的にまとめられているため、Notebook内の主要な各ステップについて、概要のみを示します。参考として、私が作成したNotebookは次のとおりです。
robot_arm_transfer_learning.ipynb(1.2 MB)
念のため、Pythonスクリプトも用意しました! robot_arm_transfer_learning.py(24.7 KB)
-
画像データセットをGoogleドライブに保存します。
-
GoogleドライブのファイルシステムをNotebookにマウントします。
-
トレーニング、検証、およびテスト用のデータセットを作成します(それぞれ75%、12.5%、12.5%)。
-
トレーニング、検証、およびテスト用データセット内の各画像について、中央を基準に192 x 192の領域を切り出し、続いてランダムな点を中心に160 x 160の領域を切り出します。
-
データ拡張を使用し、トレーニング画像の回転、明るさ、コントラスト、色相、ガウシアンぼかし、シャープネスを変化させたコピーを作成することで、新しいデータを「生成」します。
-
入力の前処理でピクセル値を再スケーリングします(画像の値は[0, 255]ですが、MobileNet V2では[-1, 1]が必要です)。
-
MobileNet V2からベースモデルを作成します(最上位層はタスク固有であり、ボトルネック層ほど汎用性が高くないため、含めません)。
-
トレーニング中にベースモデルの重みを更新することなく、その上に新しい層を構築できるように、ベースモデルを凍結します。
-
特徴量のブロックから予測を生成するために、グローバルアベレージ層と予測層を作成します。
-
入力、データ拡張、再スケーリング、ベースモデル、グローバルアベレージ層、予測層、出力を順に連結して、モデルを構築します。
-
学習率0.001および損失関数SparseCategoricalCrossEntropyを使用して、モデルをコンパイルします。
-
トレーニングおよび検証用データセットを使用して、モデルを100エポックにわたってトレーニングします。
-
モデルをファインチューニングするために、ベースモデルの凍結を解除し、第1層から第99層までを凍結します。
-
学習率0.0001および損失関数
SparseCategoricalCrossEntropyを使用して、モデルをコンパイルします(過学習を避けるために、低い学習率を使用します)。 -
トレーニングおよび検証用データセットを使用して、モデルを1,000エポックにわたってトレーニングします(早期終了を使用したため、トレーニングは約300エポックで終了しました)。
このモデルでテスト用データセットを試したところ、有望な結果が得られたため、Beagleへの展開に進みました。まず、モデルをTensorFlow Lite(TFLite)に変換しました。次に、入力画像を読み込み、予測結果をコンソールに出力する単純なスクリプトを作成しました。
import tensorflow as tf
import numpy as np
# create a TFLite Interpreter
interpreter = tf.lite.Interpreter(model_path="model.tflite")
interpreter.allocate_tensors()
input_details = interpreter.get_input_details()
output_details = interpreter.get_output_details()
# infer on frame1.jpg - frame5.jpg
for i in range(1, 6):
pic_name = "test_pics/frame" + str(i) + ".jpg"
print("NAME: " + str(i))
input_data = tf.keras.preprocessing.image.load_img(pic_name)
input_data = tf.keras.preprocessing.image.img_to_array(input_data)
interpreter.set_tensor(input_details[0]['index'], input_data[np.newaxis, :])
interpreter.invoke()
output_data = interpreter.get_tensor(output_details[0]['index'])
print("Predictions: ", output_data)
もちろん、最初に仮想環境を作成する必要があります。
python3 -m venv venv
source venv/bin/activate
python3 -m pip install numpy tensorflow
出力は以下のとおりです。
NAME: 1
Predictions: [[9.9994671e-01 9.4633997e-06 3.7777522e-06 3.9879771e-05 1.8353434e-07]]
NAME: 2
Predictions: [[1.2622441e-07 1.0861262e-06 9.9999881e-01 3.1261608e-11 6.7432733e-11]]
NAME: 3
Predictions: [[5.1979964e-06 1.9225517e-07 1.9193716e-05 9.9996650e-01 8.9024006e-06]]
NAME: 4
Predictions: [[3.1221173e-08 1.0000000e+00 2.7385351e-12 3.1222172e-09 1.4687450e-09]]
NAME: 5
Predictions: [[5.46070169e-06 8.02626730e-08 4.71836330e-08 1.10886255e-07
9.99994278e-01]]
最大値とそのインデックスを使用することで、画像クラスを特定できます。私の場合、クラスはコンデンサ、チップ、抵抗器、スイッチ、トランジスタの順です。そこで、カメラ画像を取り込み、画像処理によって特定した座標で適切なサイズに切り出し、その画像をモデルに入力することで、部品の種類を推論できます。
まとめ
プロジェクトのこの部分は、前回よりもソフトウェアの比重が高いものでしたが、間違いなく重要なものでした。画像処理と機械学習という2段階でBeagleにコンピュータビジョンを実装し、完全自律型電子部品仕分けシステムの基盤を構築しました。開発中、各部分を分離し、それぞれ独立した環境で機能を実証できました。次のステップでは、これらの部分を統合し、連携して動作できることを実証します。現時点でロボット仕分けシステムプロジェクトはほぼ完成しており、あとは各サブシステムを接続するだけです。
















