VLA · 検証で3タスク ★
π0.5
Physical Intelligence
汎化最強 / 大型
- VLM PaliGemma（SigLIP＋Gemma 数B）土台に flow matching
- 複数ロボット＋Webデータを混ぜて学習（co-train）
- 「次に何をすべきか」を言語で予測する階層構造
- 本デモの実機（Jetson Thor）で 3タスクを検証（134エピソードで FT）。本番ライブは ACT を採用
お片付けロボット「しまってAI」で学ぶ、VLA・模倣学習・カメラ校正・Sim2Real。
文章や画像を生成する AI に続き、いま世界が向き合っているのは、見て・考えて・物理的に動く AI ——— Physical AI だ。NVIDIA の Jensen Huang は「あらゆる産業企業がロボティクス企業になる」と言った。大げさに聞こえるかもしれない。だが Amazon にとって、これは未来の予言ではなく、毎日の現実だ。
ここ1〜2年で、AI は「画面の中で文章や画像を作る」段階から、「現実を見て・考えて・体を動かす」段階へ移りつつある。これを支えるのが、本書の主役である VLA（Vision-Language-Action） や、世界の挙動を予測するワールドモデルといった基盤モデルの登場だ。「言葉で指示すれば、見たことのない環境でもロボットが動く」——その汎化が現実味を帯びてきた。"ロボティクスの ChatGPT モーメント" が近い、とも言われる所以である。
意外と知られていないが、Amazon は地球上でもっとも大規模に物理世界を動かしている会社のひとつだ。2012 年に倉庫ロボットの会社を迎え入れて以来、自律移動ロボットや個品ピッキング、さらには "触覚"を持つロボット（Vulcan） まで自社開発し、2025 年には稼働ロボットが累計 100 万台を突破した（300 を超えるフルフィルメント拠点）。
そして同時に発表したのが DeepFleet ——— 数十万台のロボットの動きを学習し、フリート全体を協調させる "ロボット向けの生成 AI 基盤モデル" だ。社外のロボティクス／ヒューマノイド企業にも出資している。つまり Amazon にとって Physical AI は研究テーマではなく、配送のスピードとコストに直結する屋台骨。「現実世界を AI で動かす」難しさに毎日ぶつかり、毎日解いてきた——その知見が、次の AWS の土台になっていく。
Physical AI は、クラウドにとって新しい巨大ワークロードだ。大量のデータ、重いシミュレーション、GPU での学習、エッジでのリアルタイム推論、多数台のフリート運用——発生する仕事は、そのまま AWS の得意領域と重なる。AWS が Physical AI 専用の情報発信やリファレンス構成を整え、GPU シミュレーション基盤で深く協業しているのは、これを第一級のテーマとして位置づけているからだ。
Physical AI は 「データ収集 → シミュレーション → 学習 → Sim2Real → エッジ実機 → フリート運用」 という長いループで成り立つ。AWS の強みは、このループ全体を一つの土台で回せることにある。
目の前の「しまってAI」は、その一気通貫がスライドではなく、実際に動いている実証だ。約 4 万円のアーム（＋推論用 Jetson Thor は別途約 50 万円台） × オープンな基盤モデル × AWS で、声をかけると部屋を片付ける Physical AI が組める。本書はその中身を 1 冊で解き明かす。あなたが次に動かす一台も、ここから始められる。ざわ…ざわ…
ミニチュアの部屋に小型ロボットアーム（SO-101）を置き、来場者がマイクに「消しゴムを片付けて」と話しかけると、AI が言葉を理解してアームを動かし、散らかった物を片付ける——というデモ。ロボットを動かす頭脳が VLA モデル、その VLA に「どう動くか」を教え込むのが 模倣学習、カメラの見え方を正確に測るのが カメラ校正（ChArUco）、実機の代わりに仮想空間で練習させるのが Sim2Real。本書はこの4本柱を軸に、全体像（§1）とエッジ/クラウド設計（§6）を加えて解説する。
工場の産業用ロボットは長年、人間が動きを1つ1つプログラムしてきた。「関節1を30度、関節2を-15度、そこで掴む」というように、座標と角度を直接書き込む（ティーチング）。これは決まった物を決まった位置で扱う分には正確だが、次の弱点がある。
これに対し近年の Physical AI は、カメラで見て、自分で判断して動くことを目指す。人間がいちいち座標を指定するのではなく、「消しゴムを片付けて」という言葉の指示とカメラ映像から、ロボット自身が関節の動かし方を決める。この「見る→判断する→動く」を担うのが本書の主役、VLA モデルである。
ロボットの動作は、人間の反射神経と同じくループで回っている。
ポイントは「一気に正解の動きを出す」のではなく、少し動かしては見て、また少し動かすを高速で繰り返すこと。だからこのループの速さ（遅延の小ささ）が決定的に重要になる。後の第6章「エッジ vs クラウド」で、なぜこのループを手元のコンピュータ（エッジ）で回さねばならないかを説明する。
「賢いが少し遅い思考（クラウド）」と「速い反射（エッジ）」の役割分担が、このシステムの背骨になっている。
まず復習。近年の AI には VLM（Vision-Language Model） がある。これは「画像」と「言語」を同時に扱えるモデルで、たとえば写真を見せて「これは何?」と聞くと「猫です」と答えるような、画像理解＋言語のモデルだ（GPT-4V や Claude の画像機能を想像すればよい）。
VLA（Vision-Language-Action） は、この VLM に 「行動（Action）」の出力を足したもの。
VLM: 画像 ＋ 言語 ──→ 言語（説明・答え） VLA: 画像 ＋ 言語 ＋ ロボット状態 ──→ 行動（次の関節の動かし方）
つまり VLA は「見て、言葉の指示を理解し、実際にどう体を動かすかを出力する」モデル。Physical AI の中核技術である。
しまってAI が使う SO-101 アームを例に、VLA の入出力を具体化する。
VLA は1ステップずつではなく、未来の行動を塊（chunk）でまとめて予測する。これを Action Chunking と呼ぶ。理由は 誤差の累積（compounding error） を避けるため。
1ステップずつ予測すると、わずかな予測ミスがあっても次の入力がそのズレた状態になり、さらにズレた予測を生み……と誤差が雪だるま式に増える。一方、まとまった行動列を一度に出せば、途中で多少ブレても全体として滑らかな軌道を保ちやすい。この発想は ACT（後述）という研究が広めた。
言語モデルは「次の単語」を確率的に選ぶが、ロボットの関節角は 連続値（30.5度、31.2度…）で、しかも滑らかに繋がっていないといけない。この連続的な行動列を生成するために、近年の VLA は flow matching や diffusion（拡散モデル） という手法を使う。
直感的には、画像生成 AI（Stable Diffusion など）が「ノイズだらけの画像」から徐々にノイズを取り除いて綺麗な絵を作るのと同じことを、「行動列」に対してやる。
ランダムなノイズの行動列 ──（数ステップで "ノイズ除去"）──→ 滑らかで意味のある行動列
▲
画像と言語指示が「どんな行動にすべきか」を条件づける
「ノイズから綺麗な動きを彫り出す」イメージ。π0.5・SmolVLA・GR00T いずれもこの系統の手法を採用している。
VLA の設計では、人間の認知になぞらえた 2層構造がよく出てくる（特に NVIDIA GR00T が明示的）。この「System 1／System 2」という言い回しは、心理学者ダニエル・カーネマンのベストセラー『ファスト&スロー』で広まったものだ。
この「賢いが遅い層」と「速い層」を分ける発想は、第6章の クラウド（賢い思考）とエッジ（速い反射）の役割分担ともきれいに対応する。覚えておいてほしい。
しまってAI のプロジェクトでは、複数の VLA を学習で比較・実機検証した。π0.5・ACT・GR00T・SmolVLA を学習し、本番ブースのライブデモは ACT が3タスク（消しゴム・マーカー・サイコロ）を実行した。代表的な4モデルの特徴を整理する。
| モデル | 開発元 | 規模 | 言語指示 | 行動生成 | 特徴 | 本デモでの役割 |
|---|---|---|---|---|---|---|
| π0.5 | Physical Intelligence | 大（数B） | あり | flow matching | 汎化最強・Webデータ co-train | 検証：3タスク |
| GR00T N1.5〜N1.7 | NVIDIA | 大（3B） | あり | DiT/flow | System1/2 二層・人間動画/合成 | 実機検証：赤ペンをピック |
| SmolVLA | Hugging Face | 小（〜450M） | あり | flow matching | 軽量・非同期推論・エッジ可 | 学習・検証 |
| ACT | Stanford(ALOHA) | 小 | なし | CVAE+Transformer | 軽量・タスク特化・chunk発祥 | 本番ライブ：3タスク |
クラウド（SageMaker）で π0.5 / ACT / GR00T / SmolVLA を学習・比較し、MLflow で「どれが一番うまく片付けられるか」を記録しながら探す。学習データはテレオペ（実機で人が手本）と Sim（仮想空間で合成）の2系統を活用。学習済みモデルをエッジに展開して実機で推論・検証する（Systems Manager + S3 で配信。Greengrass 自動配信は将来オプション）。「現場は確実なものを、研究は幅広く大型も」── このサイクルを回して比較し、今回のブースでは ACT を本番ライブに採用した。
しまってAI は GR00T を N1.5〜N1.7 のいずれかのベースから FT して使う（実機で最初に赤ペンのピックまで到達したのは N1.7）。3 世代とも「3B パラメータ・System2(VLM＝思考)＋System1(行動生成＝反射)の二層」という骨格は共通だが、世代ごとに VLM の頭・行動生成の規模・学習データが進化している。
| 世代 | VLM（思考） | 行動生成（反射） | 学習データの目玉 | ひとことで |
|---|---|---|---|---|
| N1.5 | Eagle 2.5（凍結） | 16層 DiT＋4層アダプタ／絶対関節角 | GR00T-Dreams（合成） | 最初の安定版 |
| N1.6 | Cosmos-Reason-2B（可変解像度） | 32層 DiT（2倍）／アダプタ廃止・VLM上位4層学習／相対動作 | テレオペ数千時間追加（双腕・歩行） | 二手・歩行で精度向上 |
| N1.7 | Cosmos-Reason-2B（推論強化） | Action Cascade（推論と制御を分離） | EgoScale＝人間一人称動画 約2万時間 | 「考えて動く」推論強化版 |
学習スクリプトは nvidia/GR00T-N1.5-3B／N1.6-3B をベースに FT する作りで、実機で最初に赤ペンのピックまで到達したのが N1.7。世代が上がるほど「少ない手本でも初見の物・手順に強い」傾向があり、3モデルを学習・実機検証した結果、今回のブースの本番ライブには ACT を採用した（π0.5・GR00T も実機で検証済み）。
ここは本筋から少し外れた読み物（コラム）。急ぐ人は §3 模倣学習 へ進んでも本筋は通ります（この4モデルと世の主要 VLA との関係は §9 付録 に地図化した）。
ここまで登場した π0.5・GR00T・SmolVLA・ACT は、作り手も思想も「どこまで公開しているか」もバラバラで、その違いがそのまま VLA 業界の縮図になっている。各モデルの素性・歴史・小ネタと、コード／重み／学習データのオープン度を一気に眺めてみよう。
tonyzhaozh/act）。ただし ACT は“アルゴリズム”であって、π0/GR00T のような巨大な事前学習済み base 重みは無く、自分のデモで都度学習する（だから「公開された重み」という概念が薄い。データも各自で収集）。| モデル | 作り手 | コード | 重み | 学習データ | ライセンス |
|---|---|---|---|---|---|
| π0 / π0-FAST / π0.5 | Physical Intelligence | ✅ 公開 | ✅ 公開 | ❌ 非公開 | Apache 2.0 |
| π0.6 / π0.7 | Physical Intelligence | ❌ | ❌ | ❌ | 論文のみ（重みクローズド） |
| GR00T N1〜N1.7 | NVIDIA | ✅ 公開 | ✅ 公開 | △ 一部公開 | コード Apache 2.0 ／ 重み NVIDIA Open Model License |
| SmolVLA | Hugging Face | ✅ 公開 | ✅ 公開 | ✅ 公開（コミュニティ） | Apache 2.0 |
| ACT | Stanford (ALOHA) | ✅ 公開 | －（都度学習） | －（各自収集） | MIT |
本デモが実機で使う π0.5・GR00T・ACT、そして初期検証した SmolVLA は、いずれもオープンに入手できる（クローズドなのは最新の π0.6／0.7 だけ）。「4万円のアーム × オープンな基盤モデルで企業級デモが組める」という本デモの主張は、この事実に裏打ちされている（推論用エッジ計算機 Jetson Thor は別途約 50 万円台）。
しかも4モデルには“血縁”がある。ACT（Stanford）→ その著者 Levine・Finn が Physical Intelligence を創業 → π0 という系譜だ。そして flow matching（連続動作の生成）と Action Chunking（行動を塊で予測）は、ほぼ全モデルに共通する DNA になっている。
オープン度を一列に並べると——SmolVLA（コード＋重み＋データ全部）＞ π0.5・GR00T（コード＋重み）＞ ACT（コードのみ＝手法）＞ π0.6／0.7（論文のみ）。最先端ほど重みを抱え込む傾向はあるが、ロボット基盤モデルは LLM 以上に“オープン文化”が根強いのが面白いところだ。
自然言語処理（NLP）では、新しい発明が登場するたびに“汎用性”が段階的に跳ね上がってきた。単語を意味のベクトルに変えた word2vec、文脈をまとめて捉える汎用アーキテクチャ Transformer、大量の文章で先に事前学習する BERT、それを生成と巨大スケールに押し進めた GPT——という流れだ。とりわけ GPT-3 では、モデルを作り直さなくても「指示や例を見せるだけ」で翻訳・要約・質問応答などを1つのモデルがこなせるようになった。この「タスクごとの専用設計が要らなくなり、汎用モデルが指示だけで何でもこなせるようになる転換点」を、比喩的に「GPT モーメント」と呼ぶ（画像認識が深層学習で一変した2012年を指す“ImageNet モーメント”と同じ言い回しだ）。
このフレームは VLA にも一部当てはまる。Transformer と事前学習済みの視覚言語モデル（VLM）は、VLA がそっくり借りてきている——つまり word2vec・Transformer に相当する土台は VLA も獲得済みだ。実際 π0.5 や GR00T は「言葉で指示すれば複数のタスクをこなす」段階に入りつつあり、これは小さな“GPT の兆し”と言える。
ではなぜ「VLA の GPT モーメントはまだ来ていない」と言われるのか。NLP の本当の燃料は Transformer 単体ではなく、インターネット規模のテキスト（ほぼ無料・自己教師で学べる）だった。ところがロボットの行動データはネットに転がっておらず、人手のテレオペで集めるしかない（この "データの希少性" は次節 §3 冒頭のコラムで詳説）。動画なら無限にあるが「どの関節をどう動かしたか」の正解が付いていない——この「豊富な動画を、ロボットが使える教師信号に変換する」仕組みの不在が、今いちばんの壁だとされる。
そこで有力視されるのが、人間の動画や仮想空間（シミュレーション）から大規模に学ぶデータエンジン（GR00T N1.7 の EgoScale はその一例）と、「次に世界がどうなるか」を予測させて物理の常識を獲得する世界モデル（World Model）だ。後者は「VLA の次の GPT は世界モデルでは」と注目を集めている。まとめると——アーキテクチャの“GPT モーメント”は VLA もほぼ達成済み。残るのは「データ」と「世界モデル的な学習」のブレイクスルーで、それは“来つつあるが、まだ来きっていない”——というのが2026年の現在地だ。
VLA という「頭脳」は、最初から片付け方を知っているわけではない。人間のお手本を真似て学ぶ。これを 模倣学習（Imitation Learning）、特に最も基本的な手法を 行動クローニング（Behavior Cloning） と呼ぶ。
「LLM は指示文（プロンプト）だけで色々こなせるのに、なぜ VLA はわざわざ追加学習が要るのか」——もっともな疑問だ。だが両者は別物の仕組みではない。LLM が"プロンプトだけ"で動けるのは、インターネット規模のテキストで事前学習（pretrain）した成果で、プロンプトはその知識を呼び出しているにすぎない。VLA も推論時には「マーカーをカゴに入れて」と言葉で指示する（＝プロンプトに相当）。1つのモデルがコマンドごとに再学習せず複数タスクをこなす点も同じだ。
差が出るのは2つの非対称性のため。① データの希少性：テキストはネット上に事実上無限だが、"ロボットの動作データ"はテレオペで人手で集めるしかなく桁違いに少ない（"インターネット規模のロボット動作"は存在しない）。② 身体への接地（embodiment）：LLM の出力はどこでも同じ「トークン」だが、VLA の出力はこの SO-101・このカメラ・この物理に紐づくモーター指令だ。同じ「片付ける」でも自分の体に合わせ込む必要がある。だから「この身体・この現場で練習する」工程＝追加学習（fine-tune）が今はまだ要る。
たとえるなら、LLM は本を大量に読んで賢くなった人（読む材料は無限）。VLA は新しい道具を自分の手で練習しないと使えない人で、マニュアルを読むだけでは指は動かない。fine-tune はその「自分の体での練習」にあたる。なおこの差は縮小中で、π0.5 は「見たことのない家」への汎化を、GR00T は最小限の追加学習でのロボット間転移を掲げる——LLM が辿った道を VLA が追いかけている段階だ。
機械学習の基本「教師あり学習」は、入力と正解のペアを大量に見せて、入力→正解の対応を学ばせる。例：たくさんの「写真＋正解ラベル（猫/犬）」を見せて、新しい写真の動物を当てられるようにする。模倣学習はこれをロボットの行動に適用する：
入力（観測）= カメラ画像 ＋ 言語指示 ＋ 今の関節角 正解（教師）= そのとき人間がとった行動（関節をどう動かしたか）
このペアを大量に集め、「この状況なら、こう動かす」を学ばせる。
では「人間がとった正解の行動」をどう記録するか。ここで テレオペレーション（teleoperation, 遠隔操作） が登場する。SO-101 には2種類のアームがある。
人間がリーダーアームを動かして「消しゴムをカゴに入れる」を実演すると、フォロワーが同じ動きをする。このとき、各時刻ごとに次の3点を記録する：
時刻 t における 1コマ: ├─ カメラ画像（俯瞰＋手先） ← 観測 ├─ そのときの関節角 ← 観測（自己状態） └─ 人間が次に動かした関節角（= 行動） ← 教師信号（正解）
この1コマを動作の最初から最後まで並べたものが 1エピソード（1回分のお手本）。これを何十〜何百回繰り返してデータセットを作る。しまってAI では LeRobot（Hugging Face のロボット学習ライブラリ）のデータセット形式で蓄積する。
VLA の学習とは、結局「観測空間 → 行動空間 の対応関数（=方策, policy と呼ぶ）」をニューラルネットで近似することに他ならない。
flow matching を使う VLA の学習は、ざっくり言えばこうだ：
これを何百万回も繰り返すと、モデルは「この観測なら、ノイズからこういう行動を彫り出せばいい」を覚える。推論時は完全なノイズから始めて、学んだ手順で滑らかな行動を生成する（2.4節）。
本番（推論）では、モデルの手元に正解の行動は無い——あるのは画像と指示だけ。だから "まっさらなノイズ" から行動を作り出すしかない（2.4節）。とはいえノイズから完成形をいきなり当てるのは難しいので、学習では正解をいろんな強さで崩したサンプルを大量に作り、「どんな崩れ具合からでも正解の方へ一歩戻す矢印」を覚えさせる。本番はその矢印を何度もたどって、ノイズから行動を彫り出す。
例えるなら彫刻。完成形を知っている人が、わざと色々な粗さに崩した石で「次はどこを削れば完成に近づくか」を反復練習し、本番では1個の石塊から、覚えた手つきで像を彫り出す——あのイメージだ。
ここが現代 VLA の肝。π0.5 や SmolVLA は、事前学習（pre-training）済みの基盤モデルとして配布されている。世界中の膨大なロボットデータで「物を掴む・運ぶ・置く」という汎用的な体の動かし方を既に学んだ状態だ。
しまってAI がやるのは、この基盤モデルを 自分たちのタスク・カメラ配置・アームに合わせて少しだけ追加学習すること。これを ファインチューニング（fine-tuning, FT） と呼ぶ。
| 項目 | 値 | 補足 |
|---|---|---|
| モデル | π0.5 / ACT / SmolVLA / GR00T を学習・実機検証 | 本番ライブは ACT を採用 |
| エピソード数 | 20〜300 | 例: 300エピソードなら1エピ≈30秒で約3時間の収集 |
| エポック数 | 50 | データ全体を50周なめる |
| 学習機 | g6.2xlarge / g6e.2xlarge | AWS の GPU。20エピソードで約6時間 |
| 実験管理 | SageMaker + MLflow | どの設定が一番成功率が高いかを記録・比較 |
本番会場の照明は、データを集めた時と必ず違う。モデルが照明変化で誤動作しないよう、わざと照明パターン（一部点灯・全点灯・全消灯など）を変えながらデータを集める。こうして「多少見た目が変わっても同じように動ける」頑健さ（ロバスト性）を獲得する。この「学習データに意図的なばらつきを入れる」発想は、次章 Sim2Real の ドメインrandomization と同じ精神だ。
「ロボットの学習」と聞くと、試行錯誤で報酬を最大化する 強化学習（RL） を思い浮かべるかもしれない。だが、しまってAI が頭脳に使う VLA（π0.5・GR00T・ACT・SmolVLA）は、いずれも 模倣学習ベース だ。なぜ RL ではないのか。
一方、歩行やバランス制御（脚で立つ・走る）では、報酬が決めやすくシミュレーションも速いため、いまも RL が主流だ。つまり 「物をつまむ操作＝模倣学習寄り／歩く・バランス＝強化学習寄り」 という住み分けがある。しまってAI はアーム操作なので模倣学習側、というわけだ。
なお最近は 「模倣学習で土台を作り、強化学習で仕上げる」 併用も増えている（大規模言語モデルの "事前学習＋RLHF" に似た発想）。しまってAI でも、強化学習は今後の拡張余地として視野に入れている。
VLA はカメラ画像を頼りに動く。だがカメラは「素直な目」ではない。レンズには歪みがあり、同じ物でも機種や設定で写り方が違う。この「カメラの癖」を正確に測る作業が カメラ校正（camera calibration） で、その定番ツールが ChArUco ボードだ。
VLA を学習したカメラと、推論で使うカメラの写り方がズレていると、学習が無駄になる。さらに、第5章の Sim2Real では「仮想空間のカメラ」を「実機のカメラ」と同じ写り方に揃える必要がある。そのためには「実機カメラがどんな癖を持つか」を数値で知らねばならない。校正はこの数値を求める作業である。
カメラは数学的に ピンホール（針穴）カメラとして近似される。3次元の点が、レンズを通って2次元の画像のどこに写るか——その対応を決めるのが 内部パラメータ（intrinsics） だ。内部パラメータは ① カメラ行列 K と ② 歪み係数 の2つの部品からなる（歪み係数は K の中身ではない別パーツ）。
① カメラ行列 K … カメラの基本性能を表す 3×3 の行列。中身は次の2種類：
② 歪み係数（distortion coefficients） … K とは別物。レンズの歪み（広角レンズで直線が樽型に曲がる等）を補正する係数。
3次元の点 (X, Y, Z)
│ レンズ（ピンホール）を通る
▼
画像上のピクセル (u, v) ← この対応を K と歪み係数が決める
┌ fx 0 cx ┐
│ 0 fy cy │ ← これがカメラ行列 K（3×3）
└ 0 0 1 ┘ 歪み係数 (k1,k2,p1,p2,…) は K の外で別に持つ
校正の目的は、この K と歪み係数を実測で求めること。
伝統的には チェスボード（市松模様） を使う。白黒の格子の角（コーナー）は画像処理で非常に高精度に検出できる。既知のサイズの格子をいろんな角度から撮り、「実世界での角の位置」と「画像上での角の位置」の対応をたくさん集めて、K と歪みを逆算する。
弱点：ボードの一部がフレームから外れたり、手で隠れたりすると、どの角がどれか分からなくなり校正が失敗する。チェスボードの角はどれも似ていて区別がつかないからだ。
ArUco マーカーは、QR コードを単純にしたような白黒の正方形マーカー。それぞれが固有の ID（番号） を持ち、次の強みがある。
弱点は、コーナーの位置精度がチェスボードほど高くないこと。
小ネタ：ArUco の名は "Augmented Reality University of Córdoba"（開発元のスペイン・コルドバ大学）に由来する。2014年の論文で提案された、れっきとした学術ツールだ。
ChArUco（チャルコ） は名前の通り Chessboard + ArUco。チェスボードの格子の白マスの中に ArUco マーカーを埋め込んだボードだ。
┌─┬─┬─┬─┐ │ │▣│ │▣│ ▣ = ArUco マーカー（ID を持つ → 部分検出に強い） ├─┼─┼─┼─┤ ＋ = チェスボードのコーナー（高精度） │▣│ │▣│ │ ├─┼─┼─┼─┤ │ │▣│ │▣│ └─┴─┴─┴─┘
これにより両者の長所を兼ねる：
結果、手やアームでボードが少し隠れても、斜めでも、安定して高精度に校正できる。ロボットの作業空間という「物が動き回る環境」での校正に向く。
intrinsics.yaml）。カギは、ボードの寸法・マス目・マーカー ID が "ぴったり既知" なこと。つまりボードは目盛りの分かった定規だ。1枚だけだと答えが定まらない（例：「遠くの大きいボード」か「近くの小さいボード」か区別できない＝手がかり不足）。だが角度・距離を変えて何十枚も撮ると、毎回変わるのはボードの位置・向きだけで、カメラ自身の癖（K と歪み）は全ショット共通。「全部の写真を同時に説明できる K と歪み」を最適化で1組に絞り込むから、精度よく求まる。要は "1枚＝手がかり不足、多数枚＝手がかり過剰で連立を解く" という話だ。
校正用リポジトリ camera_calibration の中身から、このデモの具体値：
| 項目 | 値 |
|---|---|
| ChArUco ボード | A4 サイズ、7×10 マス、1マス 26.0mm |
| 俯瞰カメラ（OBR-WEBCAM200） | 視野角（FOV）約 49.9° |
| 手先カメラ（InnoMaker U20CAM-1080P） | 視野角（FOV）約 72.5° |
| 出力 1 | intrinsics.yaml（カメラ行列 K ＋ 歪み係数） |
| 出力 2 | isaac_camera.yaml（シミュレータ Isaac Sim 用のカメラ設定） |
俯瞰カメラは部屋全体を見るので画角を抑え気味（49.9°）、手先カメラは近くを広く見るので広角（72.5°）。この 2つ目の出力 isaac_camera.yaml が、次章 Sim2Real への橋渡しになる——校正で測った「実機カメラの癖」を、そのままシミュレータの仮想カメラに移植するためのファイルだ。
補足：このデモのカメラはこの2台だけ。手先カメラは SO-101 アームの手首に付いた "目" で、俯瞰カメラは離れた位置に固定して部屋全体を見る。SO-101 に別途内蔵カメラがあるわけではない（§2.2 の「俯瞰1枚＋手先1枚」と同じ2台）。
第3章で見たように、VLA を学習させるには大量のデモデータが要る。だが実機でデータを集めるのは大変だ：
そこで シミュレーション（仮想空間）の出番。コンピュータの中に部屋とロボットを再現すれば、速い・並列（何百台もの仮想ロボットを同時に動かせる）、安全・無限（壊れても再起動するだけ）、完全な正解が分かる（物の正確な位置を "神の視点" で取得）といった利点が得られる。
この 「シミュレーションで学習 → 実機で動かす」 ことを Sim2Real（Simulation to Reality） と呼ぶ。しまってAI では NVIDIA の Isaac Sim（物理シミュレーション＋写実的レンダリングができるロボット用シミュレータ）を使っている。
小ネタ：NVIDIA のロボット基盤ブランド "Isaac" は、ロボット三原則を生んだ SF 作家 アイザック・アシモフにちなむ。本書の Isaac Sim も、GR00T の正式名 "Isaac GR00T" も、この Isaac ファミリー（＝アシモフ印）だ（※エッジ計算機の Jetson は別ブランド）。
一般に「シミュレーション＝強化学習をやる場所」というイメージが強い（歩行ロボットの学習などはまさに Sim 内で RL を回す）。だが、しまってAI の Sim は 強化学習の場ではなく、模倣学習のためのデータ工房 として使う。
ポイントは、Sim では 人が操作しなくてもお手本データを作れる こと。仮想空間なら物の正確な位置を「神の視点」で取得でき、最適な軌跡を 自動で・並列に・現実より速く 大量生成できる。これを実機テレオペのデータに混ぜて学習させる（5.4節の合成データ生成）。
まとめると、しまってAI の Sim の役割は3つ：①お手本データの自動生成、②実機収集との並列でデータを早く貯める、③実機で試す前の安全な事前検証。いずれも「報酬で試行錯誤させる(RL)」のではなく、模倣学習を支える ための使い方だ。だから本デモは強化学習を使わずに Sim2Real が成立している。
Sim2Real の核心的な問題が ドメインギャップ（domain gap）：仮想空間と現実は完全には一致しないため、シミュレーションでうまく動いたモデルが実機で失敗する現象だ。ギャップは主に3種類：
VLA はカメラ画像を見て動くので、特に 「見た目のギャップ」が致命的。学習画像（Sim）と推論画像（実機）の写り方が違えば、せっかくの学習が役に立たない。
しまってAI では、Isaac Sim の中に 実機と同じ SO-101 アームを再現し、標準のアームに実機と同じ手先カメラ・マウント・グリッパを付け替えて形状を一致させている。そして決定的なのが 第4章の校正結果（isaac_camera.yaml）を仮想カメラに適用すること。
実機カメラを ChArUco で校正
│ K・歪み・画角(FOV 49.9°/72.5°) を実測
▼
isaac_camera.yaml
│ その数値を仮想カメラに設定
▼
Isaac Sim の仮想カメラが実機と同じ「写り方」になる
└─→ 見た目のギャップが縮む → Sim で学んだ VLA が実機で通用しやすい
これが「なぜカメラ校正が Sim2Real の鍵なのか」の答えだ。画角や歪みを合わせないと、Sim の学習画像と実機の推論画像が体系的にズレてしまう。
もう一つの王道戦略。シミュレーションでわざと条件をランダムに振りまくる：照明の色・強さ、物の質感・色、背景、摩擦や質量を毎回バラバラにして学習させる。すると「色も光も毎回違うけど、どの場合も消しゴムをカゴに入れられた」という経験が積まれ、モデルは細かい見た目に依存しない本質的な動きを学ぶ。結果、未知の現実（=ランダムのもう1パターン、とモデルは捉える）にも適応しやすくなる。3.7節で照明を変えてデータを集めたのと同じ精神である。
Isaac Sim 上で実機相当の SO-101 環境を構築し、カメラを校正値で一致させる段階まで来ている。本番デモでは「Sim でも学習している」ことを学習ダッシュボードで見せる予定。Sim2Real は今後さらに拡充していく位置づけ。
最後に、システム設計で最も実務的に重要な論点。「この計算は手元（エッジ）でやるべきか、クラウドに送るべきか」を、しまってAI を例に整理する。これは冒頭1.2節の「ループの速さが命」という話と直結する。
エッジは近くて速いが非力、クラウドは遠くて遅延があるが強力。この対比が設計の出発点。
しまってAI には性質の全く違う2つの推論が登場する。ここを分けて考えるのが最大のコツ。
| ① リアルタイム制御ループ | ② 行動後の成否判定 | |
|---|---|---|
| 何をする | カメラ映像→関節角を毎秒何十回出す | 「片付いた?」を画像で1回だけ評価 |
| 担当 | VLA モデル | VLM（画像の意味判断） |
| 遅延の許容 | 超シビア 遅れると制御破綻 | 緩い 1〜2秒OK |
| 結論：置き場所 | 必ずエッジ | クラウドでよい |
制御ループ（カメラ→VLA→関節角）は毎秒何十回も閉じる必要がある。もしこれをクラウドに送ると：
だから VLA 推論は Jetson Thor 上でローカル実行する。エッジで π0.5・ACT・GR00T を動かすのは、まさに「エッジで速く回す」ためだ（2.6節）。この高頻度の制御こそ、System 1/2 のたとえで言う System 1（速い反射）側だ（2.5節）。
一方、「消しゴムがカゴに入ったか?」の判定は動作が終わった後の一発勝負で、1〜2秒待てる。むしろクラウドに置く積極的な理由がある：
この「賢いが急がない判定」は、System 1/2 のたとえで言えば System 2（賢い思考）側の役割にあたる（厳密な対応は 6.6 節で補足）。
| エッジで判定 | クラウドで判定（採用方針） | |
|---|---|---|
| 遅延 | 最小 | 1〜2秒（許容範囲） |
| 判定の賢さ | 載せられるモデルが小さく不利 | 大型 VLM で有利 |
| ネット依存 | なし（オフライン可） | あり |
| 追加コスト | Jetson の VRAM を消費 | API 呼び出しコスト |
| 実装の素直さ | VLA と判定器が同居して複雑 | 会話 AI と同居でシンプル |
速い反射（高頻度・低遅延が命） → エッジ（Jetson） … VLA 制御ループ ＝ System 1 賢い思考（たまに・賢さが命） → クラウド（Bedrock） … VLM 成否判定 / 会話 ＝ System 2
冒頭で触れた VLA の System 1 / System 2 の二層構造（2.5節）は、エッジ/クラウドの役割分担とよく似た相似形になっている。ただしこれはあくまで比喩だ——GR00T 内部の System 2（VLM＝思考）はエッジで動く VLA の一部で、ここでクラウドに置く成否判定 VLM とは別物。「速い反射はエッジ、賢い思考はクラウド」という設計の勘所を、System 1/2 になぞらえると見通しやすい、という意味で捉えてほしい。
制御ループの感覚としては正しく、実際 VLA 制御はエッジで動いている。ただ "一発の成否判定" に限れば、上記の理由でクラウド VLM が妥当——というのがこのデモの設計判断。
① 制御ループ＝エッジ実装済み。② 成否判定＝クラウド前提の計画だがコード未実装（音声→Claude会話→MQTT→エッジ までが動作）。詳細はシステム全体像ドキュメントを参照。
| 用語 | 読み / 正式名 | ざっくり意味 |
|---|---|---|
| Physical AI | フィジカル AI | カメラ等で現実を知覚し、ロボット等の体を動かす AI 分野の総称。 |
| VLA | Vision-Language-Action | 画像＋言語指示＋自己状態を受け取り、行動（関節角）を出すモデル。本書の主役。 |
| VLM | Vision-Language Model | 画像と言語を扱うモデル（行動は出さない）。VLA の "頭脳" 部分に使われる。 |
| 模倣学習 | Imitation Learning | 人間のお手本を真似て方策を学ぶ枠組み。 |
| 行動クローニング | Behavior Cloning | 模倣学習の最も基本的な形。「観測→人間の行動」を教師あり学習する。 |
| テレオペ | Teleoperation | 人がリーダーアームを操作し、その動きを正解データとして記録すること。 |
| エピソード | episode | お手本の動作1回分（最初から最後まで）のデータ。 |
| 観測空間 | observation space | モデルへの入力の集合（画像・関節角・言語指示など）。 |
| 行動空間 | action space | モデルが出す行動の集合（各関節の目標角など）。 |
| 方策 | policy | 観測→行動の対応関数。VLA が近似しているもの。 |
| Action Chunking | アクションチャンキング | 1ステップでなく未来の行動を塊で予測する手法。誤差累積を防ぐ。 |
| flow matching | フローマッチング | ノイズから滑らかな連続行動を生成する手法。拡散モデルの親戚。 |
| diffusion / DiT | 拡散モデル / Diffusion Transformer | ノイズ除去を繰り返して目的の出力を生成する手法 / その Transformer 実装。 |
| ファインチューニング | fine-tuning | 事前学習済みモデルを、自分のタスク向けに少数データで追加学習すること。 |
| cross-embodiment | クロス・エンボディメント | 1つの基盤モデルを、形の違う複数のロボット（人型・アーム等）に載せ替えて使える性質。GR00T は本来ヒューマノイド向けだが、これにより本デモの SO-101 アームへ転用できる。 |
| エポック | epoch | 学習データ全体を1周なめること。50エポック=50周。 |
| System 1 / 2 | — | 速い反射(1)と遅い思考(2)の二層。VLA・エッジ/クラウド設計の共通モチーフ。 |
| カメラ校正 | camera calibration | カメラの内部パラメータ（焦点距離・主点・歪み）を実測すること。 |
| intrinsics | 内部パラメータ | 焦点距離 fx,fy／主点 cx,cy／歪み係数。3D点→画像ピクセルの対応を決める。 |
| ChArUco | チャルコ | チェスボード（高精度）＋ArUco（ID・部分検出）を合わせた校正ボード。 |
| ArUco | アルコ | ID を持つ白黒正方形マーカー。部分隠れでも検出・識別できる。 |
| Sim2Real | シムトゥリアル | シミュレーションで学習し実機で動かす技術。 |
| ドメインギャップ | domain gap | Sim と現実の差（見た目・物理・遅延）。Sim2Real 最大の難所。 |
| ドメインrandomization | — | Sim で条件をランダムに振り、見た目に依存しない動きを学ばせる手法。 |
| Isaac Sim | アイザックシム | NVIDIA のロボット用シミュレータ（物理＋写実レンダリング）。 |
| エッジ | edge | 現場の手元コンピュータ。本デモは Jetson AGX Thor。 |
| OTA | Over-The-Air | 学習済みモデルを通信経由でエッジ機器に配信・更新すること。 |
| MQTT | — | 軽量なメッセージ通信プロトコル。クラウド↔エッジの司令伝達に使用。 |
……ふぅ。ここまで読んでくれたキミなら、"しまってAI" の中身はもう見通せるはず。あとはブースで、お片付けの本番を見ていってね。ざわ…ざわ…
読み物・リファレンス。本編 §2 で扱った π0.5・GR00T・SmolVLA・ACT を、世に出ている主要 VLA との関係（系譜・オープン度・規模・用途）で位置づける。数値・公開範囲は2026年6月時点の公表情報（末尾に出典）。
"VLA" という言葉自体は、2023年7月に Google DeepMind の RT-2 が VLM に「行動」出力を足して打ち出したもの。つまり本編の4モデルは全員、この RT-2 が定義した土俵の上にいる。
本編モデルの直系の祖は ACT（本編・Stanford, 2023）。ACT が広めた Action Chunking（行動を塊で予測） は今や全 VLA の常識技術で、その著者 Levine・Finn が翌年 Physical Intelligence を創業 → π0 → 本編の π0.5 という直系の血筋になっている（§2.8 の "血縁" 参照）。さらに flow matching／拡散による連続行動生成は π0.5・GR00T・SmolVLA だけでなく、後述の OpenVLA・RDT-1B にも共通する "DNA" だ。
2023.7 RT-2（Google）── "VLA" を命名・確立 ──┐
├─▶ 分野全体の土俵
2023 ACT（本編／Stanford）── Action Chunking を発明
│ 著者 Levine・Finn が創業
▼
2024-25 π0 → π0.5（本編／Physical Intelligence）
＋ flow matching を共有 ──▶ GR00T・SmolVLA（本編）／ OpenVLA／ RDT-1B
VLA は LLM 以上に "オープン文化" が根強い。大きく3層に分かれ、本編の4モデルは全部 "手に入る" 側にいる。最前線のヒューマノイド勢ほど重みを抱える。
本デモは 4万円のアームとエッジ（Jetson）で動かす都合上、小〜中型に寄せている。frontier の巨大モデルはこの図の右端だ。
小 ◀─────────────────────────────────────────▶ 大
Octo SmolVLA GR00T・π0.5 OpenVLA RT-2 PaLM-E
~93M ~450M(本編) ~3B(本編) 7B 55B 562B
└────── 本編4モデルはこのあたり ──────┘
（ACT は約80M・言語条件なしの軽量手法でさらに左寄り）
| モデル | 開発元 | オープン度 | 規模 | 本編4モデルとの関係 |
|---|---|---|---|---|
| RT-2 | Google DeepMind | クローズド | 〜55B | "VLA" の命名元。4モデル全員の概念的な親 |
| Gemini Robotics | Google DeepMind | 非公開 | 非公表 | π0.5・GR00T のクローズド版ライバル（全身も） |
| Helix | Figure AI | 非公開 | 7B＋80M | GR00T と同じSystem1/2 の2層思想／ヒューマノイド版 |
| OpenVLA | Stanford 他 | フルオープン | 7B | SmolVLA が性能比較の基準にする定番オープン |
| Octo | UC Berkeley | フルオープン | 〜93M | SmolVLA と並ぶ小型・オープンの隣人 |
| RDT-1B | 清華大学 | オープン | 1.2B | π0.5 と同じ拡散系／双腕特化 |
| GO-1 | AgiBot（中国） | 一部公開 | 非公表 | GR00T・π0.5 と同じ汎用基盤の中国勢 |
| GR-2／GR-3 | ByteDance | 限定 | 非公表 | 名前が GR00T と紛らわしいが別物 |
| LBM | Toyota＋Boston Dynamics | 非公開 | 非公表 | GR00T と競合するヒューマノイド全身側 |
| PaLM-E | クローズド | 562B | VLA 以前の祖。ACT と同時期の別系統 |
本編の4モデルは、「RT-2 が作った土俵の上で、ACT を祖とする系譜に連なり、オープンに手が届く小〜中型」という共通点でまとまっている。frontier の Gemini Robotics・Helix・LBM はより大きく全身に踏み込むが非公開——だからこそ本デモは「入手できる4モデル × 4万円アーム」で企業級デモを成立させている、というのが全体地図での立ち位置だ。
出典: RT-2 (blog.google) ／ Gemini Robotics (deepmind.google) ／ Helix (figure.ai) ／ OpenVLA (arXiv 2406.09246) ／ Octo (arXiv 2405.12213) ／ RDT-1B (arXiv 2410.07864) ／ GO-1 (arXiv 2503.06669) ／ GR-3 (arXiv 2507.15493) ／ LBM (Toyota pressroom) ／ PaLM-E (arXiv 2303.03378)。規模・公開範囲は2026年6月時点の公表情報。