RoboTwin-Phys: Do WAMs and VLAs Understand the Physical World?
Abstractの概要
RoboTwin-Physは、タスクセット自体を変更することなく50タスクからなるRoboTwin-2.0プラットフォームを拡張し、ロボット操作の明示的な評価軸として物理条件の多様性を導入しています。本ベンチマークは、物理的に妥当かつタスクを考慮した範囲内でエピソードレベルの13種類の物理属性を連続的に変化させ、エキスパートプランナーによって実行可能と検証されたインスタンスのみを保持します。また著者らは、物理属性の推定、条件認識モデリング、および物理条件付き方策学習を支援するため、正解となる13次元の物理パラメータが付与された5,000件以上のエキスパートデモンストレーションも公開しています。代表的な世界行動モデル（WAM）および視覚言語行動モデル（VLA）の評価により、標準的な視覚およびレイアウトのランダム化における頑健性が、物理条件の変動に対しては確実に転移しないことが示されています。
新規性
RoboTwin-Physは、質量、摩擦、重心、減衰、センシング構成を含む物理条件の多様性を、両腕操作における第一級のベンチマーク次元として扱っています。外観やレイアウトをランダム化しつつ基礎的な物理特性を名目値に留めていた従来のベンチマークとは対照的に、本研究はこのプロトコルをエピソードごとの正解物理アノテーションおよびタスクを考慮した妥当性較正と組み合わせています。
成果
評価された5つのWAMおよびVLAモデル全体において、Physical Random設定ではCleanやOfficial Randomのベースラインと比較して成功率が急激に低下しました。例えば、Fast-WAMはOfficial Randomの91.78%からPhysical Randomでは44.24%に低下し、Galaxea-VLAは92.80%から37.82%に低下しました。タスクレベルの分析ではモデルファミリー全体で構造化された性能パターンが示され、接触やダイナミクスを多用するタスクにおいて物理的変動に対する脆弱性が一貫して見られました。
論文の注目点
- RoboTwin-Physはエピソードレベルで13種類の物理属性を連続的にサンプリングし、タスク固有の較正された範囲とエキスパートプランナーによる実行可能性チェックを適用して有効なベンチマークインスタンスを保証する。
- 付属のデータセットは、標準的なRoboTwinデータ形式との互換性を維持しながら、13次元の正解物理パラメータを含む5,000件以上のエキスパートデモンストレーションを提供する。
- 代表的なWAMおよびVLAの評価により、視覚やレイアウトのランダム化下での高い性能が、物理条件の変動下では大幅に低下することが実証された。