Pythonと機械学習ができること 画像認識を工場の事例で試してみた

本サイトはアフィリエイト広告を利用しています。
機械学習

「機械学習を使った画像認識」+「ラダー・PLCで動く工場の機器」を連携させてみました。Pythonとラズベリーパイでデバッグしましたので誰でも同様にテストすることができます。

 

スポンサーリンク

Pythonは多くの分野で活躍しているプログラミング言語

Pythonは「Webアプリ」「データ分析」「機械学習」など将来性を持った分野で多く使われています。

 

特に最近ではAIの時代ということもあり、「データ分析」「機械学習」関連が特に盛んでそれに伴いPythonの人気も高まっているという背景もあります。

 

また人気のデバイスであるラズベリーパイ(raspberry pi)もPythonを最初から簡単に使える環境を用意しており、初心者でもすぐに始めることができます。

 

AI・IOTの時代で組み込み系でも「Python」の人気は高い

そして最近ではロボット・特定の機械などに対する「組み込み系」のプログラムでもAI・機械学習を使用するため「Python」を使うケースが増えています。

 

例えば工場内でも機械学習を使った画像認識で品質管理している事例も沢山でできています

 

また組み込み系の機器にはリアルタイム性を求められるものが多く最近だとエッジコンピューティングを用いた画像認識も流行っており、そこでもPythonが使われています

 

Pythonを色々弄ってエッジコンピューティングを試してみた記事を前回まとめてみましたので、ぜひご覧ください。(リンク先はこちらから)

エッジコンピューティングで機械学習!画像認識・検出を実践してみた
エッジコンピューティングをGoogle edge TPUで実施してみました。機械学習で画像認識させて指定の物を検出した場合にはリアルタイムでGPIO制御(LED出力)させるようにプログラムしてみました。エッジコンピューティングとは?詳細の説...

 

工場を想定した事例をPythonで画像認識

今回は「工場の制御機器で使われているPLC(シーケンサ)」+「画像認識+測定」含めた事例を想定してPythonで制御してみます。

 

想定しているイメージとしては下記です。「PLC(シーケンサ)で工場内の機器を操作する」+「製品を画像認識で測定する」工程をまとめて管理したいと思います

 

但し、工場の制御機器におけるPLC(シーケンサ)に関しては「ラダー」という特殊なプログラミング言語で書かれていることが大半でPythonでは直接プログラムできません。

 

そのためPLC(シーケンサ)自身にはそのままのラダープログラムで動いてもらいます。ラダーの箇所(製造工程)が終わったらGPIO経由でPythonに通知して画像認識(測定工程)を行います

 

Pythonへの通知方法はGPIOでなくても何でも構いません(筆者が使いやすかっただけです)。

 

Python側はPLCから(GPIO経由)の通知を基に「カメラで撮影」+「機械学習による画像認識」を行っていきます

 

raspberry piで「PLC制御」+「機械学習による画像認識」

さすがに実際の工場ではテスト出来ないので、デバッグ環境としてラズベリーパイ(raspberry pi)で試していきます。

 

今回のデバッグ環境としては「ラズベリーパイ本体でPLC制御」を行い、「Google Edge TPU+カメラで機械学習による画像認識」を対応します

 

カメラ」とGoogle Edge TPU搭載のUSB接続デバイスである「Coral USB Accelerator」もラズベリーパイに接続して使うので、デバッグ環境としては非常にコンパクトに収まります

 

PLCに関してはソフトウェアPLCの「CODESYS」を利用

工場の制御機器であるPLC(シーケンサ)のデバッグに関してはソフトウェアPLCの「CODESYS」を使います。

 

誰でもフリーで使うことができ、簡単にラズベリーパイでテストできます。以前まとめた記事はこちらから

ソフトウェアPLC「CODESYS」の使い方まとめ
実質フリー(無料)で使えるのソフトウェアPLC「CODESYS」の使い方をまとめました。「CODESYS」はラズベリーパイでデバッグできるため「自分でPLC(シーケンサ)を色々触ってみたい!」という方におすすめな記事となっています。IEC ...

 

機械学習+画像認識はカメラ+Google Edge TPUを利用

カメラ」とGoogle Edge TPU搭載のUSB接続デバイスである「Coral USB Accelerator」の使い方に関しては前々回記事でまとめています。リンク先はこちらから

Google Edge TPUができること・使い方を確認してみた
Google Edge TPUの初心者である筆者が「ラズベリーパイ(raspberry pi)」+「USB Accelerator」の組み合わせで「できること」・「使い方」を確認・実践してみました。Google Edge TPUは機械学習・...

 

筆者はGoogle Edge TPUの初心者でしたが、Google(正式にはCoralというブランド)がデモ用のモデル・プログラムを用意してくれていましたので簡単に始めることができました。

 

今回のテスト・デバッグ内容

今回のテストとしては下記手順・内容です

 

①コインを運びSWを押す(PLC機器を操作して製品を作り、自動化ラインへ物を運ぶイメージ)

 

②3回作業を繰り返すとカメラが自動でコインを撮影する(規定の個数が製造されたら自動で検査工程に入るイメージ)

 

③写真の画像認識を行い3枚のコインを認識・測定を行う(検査工程で機械学習による画像認識で製品の測定を行うイメージ)

 

テスト内容が決まりましたので次章からPLC・Pythonのプログラミングを行っていきます

 

PLC(シーケンサ)のラダープログラミング

「CODESYS」を使ったラダーのプログラミングに関しては以前に紹介しましたので、詳細は省略したいと思います。簡単な例(自己保持回路)を作った記事はこちらから

入門編!簡単なPLC・ラダーのプログラムの例を作って動かしてみた
ラズベリーパイをPLC(シーケンサ)として使う実践編で「入門編!簡単なPLC・ラダーのプログラムの例を作って動かしてみた」を紹介しますラズベリーパイでラダーのプログラムを実際に数例動かして紹介しています。「自分でPLC(シーケンサ)・ラダー...

 

今回は「入力SWを(規定回数)3回押す」と「Python側にGPIO通知する」ラダープログラムを作りました。「リセットSW」と「入力SWが押すと光るLED出力」も追加しています。

 

ラズベリーパイのGPIOにPLCの入出力をリンクさせます。やり方については下記記事でまとめましたのでよろしければご覧ください。(リンク先はこちらから)

ラズベリーパイでPLC(シーケンサ)・ラダーの使い方を学んでみた
ラズベリーパイをPLC(シーケンサ)として使う実践編です。無料かつラズベリーパイでラダーのプログラムを実際に動かす手順を紹介しています。「自分でPLC(シーケンサ)・ラダーを触ってみたい!」という方におすすめな記事です。ラズベリーパイでPL...

 

今回筆者の場合は「入力SW_X001⇒GPIO4」「リセットSW_X003⇒GPIO22」「LED出力_Y001⇒GPIO17」「Python通知_Y003⇒GPIO27」に設定しました。

 

これでPLC側のラダープログラミングは終了です。SWを押すとLEDが点灯して、3回押すとPython側に通知できるようになりました。

 

Pythonのプログラミング

Python側のプログラミングに関しては前々回記事で使った検出プログラムである「object_detection.py」を参考にしていきます(リンク先はこちらから)

 

前々回は「手とPCマウス」の写真ですがしっかり画像認識して検出できましたので応用していきます

 

GPIOの入力ピンを条件にプログラムを走らせる

今回はGPIOの入力ピンを条件文で「カメラ撮影して画像認識するか」「待機するか」を判断していきます。

 

まず「PLC側の通知を受け取る入力ピン⇒GPIO16」「カメラ撮影時に光る緑LED出力ピン⇒GPIO20」「機械学習して画像認識時に光る黄LED出力ピン⇒GPIO21」と定義します

 

PLC側からの(GPIOの入力)通知が来たら、最初に「カメラ起動して撮影」そのあと「機械学習+画像認識」をするプログラムとしました

 

画像認識して描くラインを太くした

また画像認識した後に写真に認識した箇所を四角で囲むのですが、しっかり分かるように重ね書きして線を太くする対応をとっています。

 

drawで線を描いているのですがfor文で重ね書きして検出するラインを太くしています

 

これにてPython側のプログラム作成も終了です

 

ちなみに筆者は少し前までPython未経験でした

ちなみに筆者は少し前までPython初心者でしたが、下記記事で紹介しているUdemy iconで勉強することで今回のレベルのことは出来るようになりました。

未経験・社会人向け! Pythonと機械学習の勉強方法・始め方
未経験で社会人である筆者がPythonと機械学習を学びました。「今回の勉強方法はかなり実用的かつ効率的!」と強く実感した内容でしたので紹介します。UdemyがPythonと機械学習の始め方に最適!結論から言いますとの講座を受けました。未経験...

 

初心者が高い参考書を買って一人でPython勉強するよりは「非常に分かりやすく」「費用が抑えられる」はずですのでご参考ください。リンク先はこちらから

 

今回の回路図・配線

今回の回路図としてはSWとLED、またラズベリーパイ内でのGPIO接続しただけの回路図ですが一応載せておきます。

左側がPLC、右側がPythonというイメージでざっくり分けています。

 

実際のデバッグ用の配線は少し混雑している形ですが、ブレッドボードを2つ使いSW部とLED部を分けて対応しています。

 

ジャンパーと抵抗・LEDに関しては市販で売られている電子工作セットジャンパーワイヤーを使えば十分でした。

 

PLCと連携してPythonと機械学習ができたか確認してみる

それではテストを開始していきます。

テスト開始方法

今回はラズベリーパイ上でソフトウェアPLCを走らせて…

 

Pythonのプログラムを起動させていきます。コマンド方法は前々回と大体同じです。Pythonのプログラムによるカメラ写真の保存名「test.jpg」を引数に使っていました。

python3 demo/object_detection_plc.py --model test_data/mobilenet_ssd_v2_coco_quant_postprocess_edgetpu.tflite --input test.jpg --output detection_results.jpg

 

テスト結果

テスト手順①の結果です。「コインを運びSWを押す」作業をすると無事PLCが動作しカウントアップしました。OKです。

 

テスト手順②では3回PLC操作した後、Python側に通知され自動的にカメラ撮影が行われました。OKです。

 

テスト手順③では機械学習による画像認識が行われ3枚のコインが画像認識されました。OKです

 

無事手順③までの動作が確認できました。

 

カメラで撮った写真と画像認識後の写真

ラズベリーパイのカメラで撮影した写真が下記となります。(ピントが完全にあっていないのかぼけています)

 

そしてGoogle Edge TPUで機械学習+画像認識した写真です。3枚のコインは認識できているのですが、余分に何も無い箇所でも一つ認識しています。

 

出力されたテスト結果としては下記スコアとなっていました。4つ認識されていました。

-----------------------------------------
score = 0.160156
box = [368.4375858306885, 212.07280723111967, 875.1773071289062, 628.8446507283619]
-----------------------------------------
score = 0.121094
box = [670.8559226989746, 731.731755392892, 1077.843360900879, 1015.714121716363]
-----------------------------------------
score = 0.0898438
box = [7.6526641845703125, 0.7636249065399169, 1900.3882598876953, 1080.0]
-----------------------------------------
score = 0.0664062
box = [995.4238128662109, 224.29559060505457, 1581.9051361083984, 706.6516258886882]

 

実際の動画

実際の動画をYoutubeに上げました。最後の画像認識した写真は見づらいですが一連の流れは分かると思います。

 

~3秒  プログラム実行

~20秒  手順①…「コインを運びSWを押す」を3回繰り返し

~28秒  手順②…「Python側に通知され自動的にカメラ撮影」

(※わざとディレイを7秒ほど入れているので遅いです)

~33秒  手順③…「機械学習による画像認識が行われ3枚のコインが画像認識」

~44秒  画像認識後の写真を開いて見える位置まで持ってきている

 

まとめ・感想

ラズベリーパイ(raspberry pi)のデバッグ環境ですがPLC(シーケンサ)を使う工場を想定した画像認識ができました。

 

ソフトウェア専門でなくてもPythonならば簡単にプログラムを組めて色々な機器と連携させることができます。色々なケースで応用できるのではと考えています。

 

筆者も元々は初心者でしたが、下記記事の勉強方法である程度Pythonを触れるようになりました。

高い参考書を買って一人でPython勉強するよりは「非常に分かりやすく」「費用が抑えられる」はずですのでかなりおススメです。リンク先はこちらから

未経験・社会人向け! Pythonと機械学習の勉強方法・始め方
未経験で社会人である筆者がPythonと機械学習を学びました。「今回の勉強方法はかなり実用的かつ効率的!」と強く実感した内容でしたので紹介します。UdemyがPythonと機械学習の始め方に最適!結論から言いますとの講座を受けました。未経験...

 

 

<<20190512追記>>

次の記事ではリアルタイムで動く「動体」を画像認識し、PLC(シーケンサ)を制御させるようにPythonのプログラミングさせてみました。(リンク先はこちらから)

AIと画像認識の事例!Pythonでプログラミングして試してみた
AIで画像認識させて特定の物を検出した場合には外部機器を制御するようにPythonでプログラミングしました。実際に動く物を検出しますので「人・動物の検知」「工場ラインの管理」等に応用できます。リアルタイムで動体をAI+画像認識を行う前回記事...

 

コメント