身体性VLMのための構造的表現

中心的な動きは、プロンプトだけに頼る身体性VLMから、幾何的な中間表現を使う方式への移行である。中間表現とは、システムが行動を選ぶ前に、有用な構造を保存しておく中間層のことだ。この文脈では、2D検出が3D推定を支え、BEV地図が経路選択を支え、シーングラフが説明を支える。

1年目は、こうした層の統合が強まる可能性が高い。認識側では、深度事前知識、カメラ情報、短い時間的文脈を加えることで、3D出力が1枚の画像に依存しすぎないようになる。ナビゲーション側では、履歴を別モジュールに置くのではなく、地図状態と段階的な推論を同じモデルに近づける動きが進む。近い時期の利点は、失敗のデバッグがしやすくなることだ。開発者は、問題が視覚的な対応付け、深度推定、最終的な行動選択のどこで起きたのかを見分けやすくなる。

2年目には、個別の巧妙な手法から、空間状態を共有する形式へ移る動きが出てくる。研究者は、箱、地図、物体関係を部品間で受け渡す共通の方法を必要とする。動画や世界モデルから学んだ幾何は、言語インターフェースを保ったまま空間状態を改善する前処理になりうる。ツールも実用的になり、再生表示やグラフ可視化によって、実行ごとのエージェント状態を調べやすくなる。

3年目ごろには、このシナリオの強い形として、オープン語彙の3Dシーン構造と地図に近い表現が、認識、ナビゲーション、説明をまたいで使われる。重要な観測点は、曖昧さ、記憶、複数ステップの移動を含む難しいケースで、構造化システムがプロンプトだけのシステムを上回り続けるかどうかである。ただし、実センサー、変化する環境、長い時間にわたる行動は、ソフトウェア入力ほど整っていない。このため、単純なプロンプト方式が追いつく場合や、深度と時間的条件付けが成果を伸ばせなくなる場合、このシナリオは弱まる。

このシナリオでは、幾何への転換をモデル構造だけでなく、評価の転換として捉える。身体性VLMは、何を見て、どのような状態を作り、どの行動を取ったのかを結ぶ痕跡を示すことが期待される。痕跡が役立つのは、3D予測をカメラ幾何と照合でき、経由点をシステムの説明と比べられるからである。

1年目には、研究上の問いが「構造を入れると点数が上がるか」から「その構造は忠実か」へ移っていく。後続研究では、投影された物体が一貫しているか、推論と行動が同期しているか、再訪時にも記憶が残るかを検証する必要がある。近い時期の重要なきっかけは、タスク成功率の高いシステムが、推論と空間状態を直接テストされると低い結果になる公開評価である。実務チームはまず、痕跡ビューア、投影オーバーレイ、地図整合性チェックのような道具で対応するだろう。

2年目には、評価と学習の間にフィードバックループが生まれる。ベンチマークや基盤ツールは、タスク成功だけでなく、忠実性の結果も求め始める。学習手法は、グラウンディング、3D予測、行動説明が互いに矛盾しないシステムを高く評価するようになる。構造化システムは、中間成果物がすでに見える形になっているため、テストしやすいという利点をもつ。

3年目ごろには、倉庫内移動、建物点検、支援ロボットのような管理された試験導入に届く可能性がある。こうした場面では人間の監督が重要なので、システムを試す前に監査用の記録報告が求められるかもしれない。観測点は、モデルカード、ベンチマーク表、ロボティクス用ツールが、こうした痕跡を通常の証拠として扱い始めるかどうかである。ただし、身体的な推論には完全に一つの正解があるとは限らない。共通の検証基盤が広がらない場合や、不透明なシステムが安価な事後チェックだけを通過する場合、このシナリオは弱まる。

このシナリオは、同じ技術的方向を保ちながら、それをソフトウェアシステム上の変化として捉える。幾何的な構造は制御プレーンになる。ここでの制御プレーンとは、エージェントが空間、物体、可能な行動について何を信じているかを記録する型付きの状態層である。制御プレーンは、言語に向き合うモデルを置き換えるものではない。むしろ、証拠を保存し、提案された行動が支えられているかを確認するための構造化された場所を与える。

1年目の研究は、現在と同じく、カメラを考慮した認識、深度手がかり、より豊かな空間記憶を扱うように見える。違いは、出力が最終回答だけでなく、再生可能な痕跡として評価される点である。痕跡は、画像観測が空間推定になり、地図状態が経由点を生み、説明が実行行動と一致する流れを示せる。実務上は、構造化ログやシミュレーション再生によって、開発者が失敗箇所を見つけやすくなる。

2年目には、こうした痕跡が学習データになる。モデルはエピソード全体の空間状態の軌跡から学び、記憶を更新し、地図を修正し、物体の同一性を保てるようになる。ベンチマークは、最終的なタスク成功だけでなく、再生して確認できる証拠を評価し始めるはずだ。応用チームは、モデル本体や計画器を変更したときの回帰テストにも同じ痕跡を使う。

3年目までに、条件付きの構成は層状になる。言語向けのVLMはオープン語彙の対話を扱い、制御プレーンは空間状態と検証結果を保存する。行動モジュールはその状態を読み取り、各ステップの後に書き戻す。観測点は、痕跡ログが魅力的な可視化を生むだけでなく、デバッグと一貫性を測定可能に改善するかどうかである。ただし、物理的なエージェントは、ノイズの多いセンサー、動く物体、取り消せない行動に直面する。そのため、制御プレーンが介入や信頼性を改善せず、複雑さだけを増すなら、このシナリオは弱まる。