しまってAI

「Physical AI の時代が来た」とよく言われる。Amazon にとって、それは未来の予言ではなく、毎日の現実だ。

私たちは世界中の倉庫で 100 万台を超えるロボットを動かし、フリート全体を協調させる基盤モデル（DeepFleet）まで自分たちの現場規模で運用してきた。「現実世界を AI で動かす」難しさに、毎日ぶつかって、毎日解いてきた会社だ。その実装と運用で培ったものが、AWS という形で開かれている。

数ヶ月かかる学習を GPU シミュレーションで数時間に圧縮し、鍛えた頭脳を実機へ移し（Sim2Real）、エッジで低遅延に動かし、多数台を束ねて運用する——Physical AI の長い道のりを、最初から最後まで一つの土台の上で組める。それが AWS を選ぶ意味だ。

来場者がマイクに話しかけると、キャラクター「お片付け幽霊」が応答し、ミニチュアハウス内の SO-101 ロボットアームが消しゴムやマーカーを自動で片付ける Edge-to-Cloud の Physical AI デモ。

• クラウドの知能（会話エージェント・VLM による成否判定）と エッジのリアルタイム制御（Jetson Thor 上で VLA 推論）を AWS IoT Core（MQTT） で疎結合に連携する構成。
• ロボットの動作モデルは VLA（Vision-Language-Action）モデルを模倣学習でFT し、テレオペでのデータ収集 → SageMaker で学習 → Systems Manager + S3 でエッジへ配信、という ロボット版 MLOps パイプラインを一気通貫で構築。
• 教育用ロボット SO-101（実売 4 万円級）＋推論用エッジ計算機 NVIDIA Jetson AGX Thor 開発キット（約 3,499 ドル / 約 50 万円台）で構成。アーム自体は安価で、AWS のマネージドサービス群だけで企業級デモが組めることを示すのが狙い。

「散らかった家を片付けるのは大変。ロボットが勝手に片付けてくれたら」という日常課題を、Physical AI と IoT 対応ロボットで解決して見せる体験型デモ。

• ミニチュアハウス（アルミフレーム筐体）の中に SO-101 アームを設置し、来場者の音声指示だけでロボットが物をしまう。
• ロボットは事前にプログラムされた固定動作ではなく、カメラ映像と言語指示から行動を生成する VLA モデルで動く（＝「学習させたから動く」ことを訴求）。
• 行動後はロボット自身が俯瞰カメラの映像を VLM で評価し、成功/失敗を判断して喋る（自律的なクローズドループ）。

クラウド（リアルタイム制御系）／エッジ（Jetson Thor）／学習パイプライン（オフライン）／物理ブースの4レイヤーで構成される。

ポイント設計上の要点

• クラウド側は 完全サーバレス/マネージド（Strands Agents・Bedrock・Polly・IoT Core・CloudFront・S3）。
• クラウドとエッジは IoT Core の MQTT で疎結合。クラウドのエージェントが自然言語コマンドを publish し、エッジの Strands Robots が常時 subscribe して VLA 推論を起動する。
• VLA 推論はエッジ（Jetson Thor）でローカル実行するため、ネットワーク遅延の影響を受けずリアルタイムにアームを制御できる。
• 計画 行動の成否判定をクラウドの VLM（Bedrock）が俯瞰カメラ画像で行う構想。知能はクラウド、即応はエッジという役割分担。※現コードには未実装。
• 構想のみ 照明のクラウド ON/OFF 制御は当初の要望だが、現コードは未実装。LED は USB 給電で常時点灯しているだけ。

2.1実装版 E2E アーキテクチャ（コード検証済み）

上図は計画を含む統合ビュー。下図は 実際にコードへ実装されている構成をリポジトリ精読で確定した実装版 E2E アーキテクチャ。推論・会話・IoT 制御はすべて ap-northeast-1 単一リージョンで完結する（学習系のみ別リージョン、§06 参照）。会話エージェントは Bedrock AgentCore Runtime（ECR コンテナ上で動く Strands Agents + FastAPI WebSocket）として稼働し、Transcribe・Bedrock Claude・SageMaker TTS を呼び出して IoT Core 経由でエッジへコマンドを publish する。

参考実装・ブログ

• AWS Blog「Building intelligent Physical AI from edge to cloud with Strands Agents, Bedrock AgentCore, Claude 4.5, NVIDIA GR00T, and Hugging Face LeRobot」
• Strands Labs ブログ（実験的なエージェント開発）

来場者が「消しゴムを片付けて」と話してから、ロボットが動き、成否を喋るまでの一連のシーケンス。

ポイント往復の節目だけクラウド

• 音声指示 → クラウドで意図解釈 → MQTT でエッジへ司令 → エッジで VLA 推論しアーム制御、という往復。
• VLA の推論ループ自体は エッジ内で完結（カメラ映像取得→関節角出力を反復）するため、クラウドとの通信は「司令」と「完了通知」の節目のみ。
• 動作後の VLM 成否判定（図の下部）は 計画であり現コードには未実装（§02 実装版図 参照）。実装済みなのは「音声→Claude会話→MQTT→エッジ」までで、判定ループはまだ繋がっていない。

アプリ画面を通じて、来場者は「お片付け幽霊」と対話しながら以下のモードを行き来する。会話の選択肢はマイク発話で選べ、フォールバックでマウス操作も可能。

5.13つのモード

5.2VLA が実演する3タスク

※ 各タスクの前に、展示員が手動で場をセットする運用。

1. 消しゴムをカゴに片付ける（最も枯れたタスク。1 台のみで実行可能なので縮退運用の砦）
2. マーカーを「S3 バケット」ペン立てにしまう（Amazon S3 をもじった小ネタ）
3. サイコロを左右の腕で交互にお椀に向かって振る：振る前に来場者へ偶数/奇数を予想してもらい、振った後に VLM で出目を読み取り結果を報告（VLM の認識力を見せる演出）

5.3キャラクター演出「お片付け幽霊」

• 音声合成は Qwen3-TTS（SageMaker 推論EP）によるボイスクローンで、独特のキャラボイスを当てている（語尾に「あにょー」が付く、ざわ…ざわ…的なノリ）。
• 成功ボイス／失敗ボイスのバリエーションを用意し、デモの体験性とエンタメ性を高める。

デモの肝は「ロボットが学習で動く」こと。テレオペでの模倣学習データ収集 → クラウドで FT → エッジへ配信を回す。Sim2Real も組み込み予定。

補足：学習方式は強化学習ではなく模倣学習。Sim（Isaac Sim）は報酬で試行錯誤させる場ではなく、お手本データの自動生成・並列収集・事前検証に使う。

実装版 学習パイプライン（コード検証済み）

下図は shimatte-ai-training リポジトリの精読で確定した実装版。学習・研究系はすべて us-west-2（研究アカウント）で動作する。SageMaker Training で π0.5 / ACT / GR00T（N1.5〜N1.7 系）/ SmolVLA を学習し（ml.g5.2xlarge、GR00T のみ ECR カスタムイメージ）、SageMaker MLflow と Model Registry で管理する。学習済みモデルの IoT Greengrass によるエッジ配信は今後の構成（本デモ時点では未実装）。本番ライブの実機には ACT を採用（π0.5・GR00T・SmolVLA も実機で検証）。強化学習（Isaac Sim + AWS Batch）は Phase5 の計画（破線）。

データ規模感

• 学習のロバスト化のため、照明パターン（一部点灯・全点灯・全消灯）を変えてデータにバリエーションを持たせる。
• 学習の全工程は 学習ダッシュボード（CloudFront 配信、後述）で可視化し、当日はこの画面で「VLA がどう学習されるか」を説明する。
• Sim2Real：Isaac Sim 上に Sim 版データ収集環境を構築（標準 SO Arm から手首カメラ・マウンタ・グリッパを実機仕様に変更）。実機データ収集の労働集約性を補う狙い。

7.1ブース物理レイアウト

7.2現場の3画面構成

• 総額は 3〜4 万円規模（Jetson Thor を除く本体・3Dプリント部品・アルミフレーム・カメラ・照明等）。
• 電源は SO-101 用 AC アダプタ 4 並列がフレームにジャストフィット。