About
home
motojin.com, Inc
home
🌈

Azure Percept DK Basic

エッジAIソリューションとしてIoTやエッジコンピューティングの知識がなくても本来の目的であるAIソリューションをエッジ側で運用できるプロトタイプを素早く開発できるAzure Percept基本について説明します。
Azure PerceptはハードウェアとソフトウェアそしてAzureサービスが一体化されています。Azure Percept DKという開発キットが販売中です。
Azure Percept DKを買って箱を開けてから試して箱を閉めるどころまで説明します。
既にMicrosoft MVP 松岡さんが公開した記事がよくまとめられているので合わせて参考すれば良いと思います。
Azure Perceptってどんなもの? - Qiita
https://azure.microsoft.com/ja-jp/services/azure-percept 現在、プレビューの「Azure Percept」ですが、2021年8月から日本のマイクロソフトストアで購入できるようになりました。 そこで、ちょークイックに「Azure Perceptってどんなものなのか?」について伝えようと思います。 マイクロソフトのAzure Percept製品説明サイトに、このように書かれています。 Azure Percept は、エッジ AI ソリューションを作成するための包括的で使いやすいプラットフォームで、セキュリティが強化されています。 Azure AI および Azure IoT サービスとシームレスに統合できるよう構築されたハードウェア アクセラレータを使用して、概念実証を数分で開始できます。 Azure Percept は Azure Cognitive Services や Azure Machine Learning などの Azure サービスと既定で連携しており、視覚や音声に関する分析情報がリアルタイムで提供されます。 重要な部分を太字にしたのがこちら。 Azure Percept は、 エッジ AI ソリューションを作成するための包括的で使いやすいプラットフォームで、セキュリティが強化されています。 Azure AI および Azure IoT サービスとシームレスに統合できるよう構築されたハードウェア アクセラレータを使用して、概念実証を数分で開始できます。 Azure Percept は Azure

事前準備

Azureへログインするアカウントのロールを確認してください。そしてAzure Perceptを試すResource Groupを作成してから進めた方が楽です。
出荷時の設定にリセットする手順で使うUSB-C to USB-Aケーブルを用意します。USB-C to USB-Cでも大丈夫です。Auzre Percept DKの方がUSB-Cとなります。
1.5mmの六角レンジも必要です。

Azure Percept DKをセットアップする

公式ドキュメントを確認しながら進めます。
Azure Percept DKをネットワークに繋げ、Azure認証を通して事前準備で作ったResource Groupに対して新規Azure IoT Hubを作成します。

注意事項

SSH設定で設定したログイン情報を忘れないでください。出荷時の設定にリセットする手順でシェルでモード変更(USBモード)ができなくなるのでAzure Percept DK キャリアボードのDIPスイッチ設定でUSBモードに切り替えるしかないです。

ノーコードでビジョンソリューションを作成する

ビジョンAIモデルを確認できます。公式ドキュメントを確認しながら進めます。
ビジョンAIモデルを作成するため、Azure Cognitive ServicesであるCustom Visionが作成されます。

注意事項

写真は1ラベルにつき、15枚を取った方がスムーズに進められます。
Custom VisionリソースはPredictionとTrainingで分かれていますが、Azure PerceptではPredictionのCustom Visionは不要なので作られないです。
“View device stream”をクリックする内容が書いてありますが、始めてデバイスストリーム画面を確認する際は、関連モジュールがデプロイされるため、少し時間がかかります。

サンプルAIモデルも確認する

公式ドキュメントには書いてないですが、下記のイメージのようにサンプルAIモデルをデプロイして試すことも忘れないでください。

コンテナーモジュールを更新する

Azure Percept DK キャリアボードのモジュールを更新してみます。更新はAzure Percept Studioで対象デバイス画面からVideoとSpeechサーブメニューでワンクリックで最新バージョンで更新できます。(キャプチャした画面はボタンが見えないです)
リリースノードの公式ドキュメントは参考レベルでみてください。
Azure Percept DK コンテナーのリリース ノート
このページでは、Azure Percept DK コンテナーのリリースでの変更と修正に関する情報について説明します。 コンテナーの更新プログラムをダウンロードするには、 Azure Percept Studio に移動し、左側のナビゲーション ペインで [デバイス] を選択し、特定のデバイスを選択してから、[ビジョン] と [音声] タブを選択してコンテナーのダウンロードを開始します。 Azure Percept Studio の自動イメージ キャプチャを使用したイメージ フレーム内の線を削除しました。 この問題は、2108 モジュール リリースから発生するようになりました。 azureeyemodule (mcr.microsoft.com/azureedgedevices/azureeyemodule:2112-1)、azureearspeechclientmodule、webstreammodule でルートとして実行される Docker サービスのセキュリティに関する修正。 Azureyemodule (mcr.microsoft.com/azureedgedevices/azureeyemodule:2108-1) MyriadX Camera ファームウェアの更新に関する Intel の最新 (5 月) ドロップに更新されました。 入力ソースとして UVC (USB ビデオ クラス) カメラが有効になりました。 入力ソースとして UVC カメラを使用する方法については、高度な開発に関する GitHub を参照してください。

ノーコードで音声アシスタントを作成する

Azure Percept Audioが手元にあれば確認できます。サンプルで確認できるのは英語のみですが、意外と面白いです。
公式ドキュメントを確認しながら進めます。
Azure Percept Studio でコードなしの音声アシスタントを作成する
このチュートリアルでは、Azure Percept DK と Azure Percept Audio で使用する音声アシスタントをテンプレートから作成します。 音声アシスタントのデモは Azure Percept Studio 内で動作し、音声で制御される選りすぐりの仮想オブジェクトを含んでいます。 オブジェクトを制御するには、まずキーワード (デバイスを目覚めさせる単語または短いフレーズ) を発話し、続けてコマンドを発話します。 それぞれのテンプレートは、具体的な一連のコマンドに応答します。 このガイドでは、デバイスのセットアップから、音声アシスタントと必要な Speech Services リソースの作成、音声アシスタントのテスト、キーワードの構成、カスタム キーワードの作成までのプロセスを紹介します。 Azure Percept Studio に移動します。 [Demos & tutorials]\(デモとチュートリアル\) タブを開きます。 [Speech tutorials and demos]\(音声のチュートリアルとデモ\) の [Try out voice assistant templates]\(音声アシスタント テンプレートを試す\) をクリックします。 画面の右側にウィンドウが開きます。 このウィンドウで次の操作を行います。 [IoT Hub] ドロップダウン メニューで、開発キットの接続先となる IoT ハブを選択します。

注意事項

作成されるリソースについては日本リージョンはないです。
日本語はサポートしてないです。
サンプルで提供されるデモは四つですが、お勧めするにはHospitalityです。英語で発音しやすいのでサクサク動きます。

Azure Percept DKを出荷時の設定にリセットする

Azure Percept DK キャリアボードのソフトウェアを最新の状態に保つためにはUSB ケーブル経由の更新と無線(OTA)更新の2種類提供しています。 
更新内容が出荷時の設定にリセットするにはUSBケーブル経由での更新が推奨されてます。
まず、Azure Percept DK キャリアボードをUSBモードに切り替えないといけないですが、SSHを使用して切り替えた方が楽です。
公式ドキュメントと合わせて確認してください。こちらにはAzure Percept DK キャリアボードのDIPスイッチを変更してUSBモードに切り替えてリセットする手順を説明します。

Azure Percept DKの分解

まず、1.5mmの六角レンジがないとAzure Percept DK キャリアボード、Azure Percept Vision、Azure Percept Audioをアルミフレームから外すことができません。特にAzure Percept DK キャリアボードのボルトを外すのがレベル高いです。

更新プログラムパッケージ

更新はNXPさんのアップデートツールを使います。公式ドキュメントではMacOSの記載はないですが、MacOSも問題なく更新できます。
ドキュメント上の更新順番はアップデートツールを実行してからUSB接続して更新するように書いてあります。
アップデートツールを実行すると下記の画面のように待機状態となります。

注意事項

MacOSでuuu_macを実行すると下記の画面のようなエラーが発生する場合がありますので解決案も書いておきます。
dyld: Library not loaded: /usr/local/opt/libusb/lib/libusb-1.0.0.dylib
Bash
brew update brew upgrade brew install libusb
Bash

終わり

Azure Perceptの基本について一巡りしてみました。
Azure PerceptはAzure IoT HubのAzure IoT Edgeをベースにして作られた統合サービスです。なのでこれから必要に応じてカスタマイズするにはAzure IoT Edge知識が必要になります。次はもう少し高度な使い方を紹介していきたいと思います。