論文の概要: WSA$_1$: a 3D-Centric World-Spatial-Action Model for Generalizable Robot Control
- arxiv url: http://arxiv.org/abs/2607.03941v1
- Date: Sat, 04 Jul 2026 16:26:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.769161
- Title: WSA$_1$: a 3D-Centric World-Spatial-Action Model for Generalizable Robot Control
- Title(参考訳): WSA$_1$:汎用ロボット制御のための3次元中心世界空間摩擦モデル
- Abstract要約: 近年,ロボット基盤モデル(RFM)が汎用ロボットシステムの主要なアプローチとして確立されている。
提案する3D-Centric World-Spatial-Action モデリングパラダイムに基づく新しい RFM である WSA$_1$ を提案する。
将来のロボット行動に対する3D世界認識の視覚的思考を学習するだけでなく、行動一般化を促進するために3D世界遷移とロボット行動の相互制約をモデル化する。
- 参考スコア(独自算出の注目度): 85.21175469425172
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recent advances in embodied AI have established robot foundation models (RFMs) as the dominant approach for generalist robotic systems to date. By leveraging imitation learning on extensive robot demonstrations, RFMs have achieved impressive capabilities in mapping visual observations and language instructions to continuous robotic actions. However, current RFMs lack an inherent ability to reason about physical dynamics and the causal effects of robot behaviors on the 3D physical world. This creates a fundamental mismatch between 2D-centric visual perception and 3D-centric embodied interaction, severely limiting the generalization ability of RFMs in real-world tasks.To address this gap, we present WSA$_1$, a novel RFM built upon proposed 3D-Centric World-Spatial-Action modeling paradigm. It not only learns 3D world-aware visual thought for future robot behaviors, but also models mutual constraints between 3D world state transitions and robotic actions to enhance behavior generalization. Notably, WSA$_1$ achieves highly data-efficient pre-training with 6k hours of expert demonstration data (only 1k hours from real robot), while delivering competitive manipulation performance (93% success rate) on RoboTwin2.0 simulation benchmark and achieving +20% average boosted performance over state-of-the-art RFMs on real-world robot control tasks. These results reveal that generalizable RFM can be attained without large-scale real robot data when paired with 3D-centric world-action joint modeling, which offers a practical and affordable pathway to generalist robotic systems.
- Abstract(参考訳): 近年,ロボット基盤モデル(RFM)が汎用ロボットシステムの主要なアプローチとして確立されている。
大規模なロボットのデモンストレーションに模倣学習を活用することで、RAMは視覚的な観察と言語指示を連続的なロボット動作にマッピングする素晴らしい能力を達成した。
しかし、現在のRCMには、物理力学とロボットの行動が3D物理世界に与える影響を推論する固有の能力がない。
これにより、2D中心の視覚知覚と3D中心の具体的相互作用の基本的なミスマッチが生じ、現実世界のタスクにおけるRAMの一般化能力を著しく制限する。
将来のロボット行動に対する3D世界認識の視覚的思考を学習するだけでなく、行動一般化を促進するために3D世界遷移とロボット行動の相互制約をモデル化する。
特に、WSA$_1$は6k時間の専門的な実証データ(実際のロボットからわずか1k時間)で高いデータ効率の事前トレーニングを実現し、RoboTwin2.0シミュレーションベンチマークで競争力のある操作性能(93%の成功率)を提供し、実際のロボット制御タスクにおける最先端のRAMよりも平均20%高いパフォーマンスを実現している。
これらの結果から,汎用ロボットシステムへの実用的で手頃な経路を提供する3D中心のワールドアクションジョイントモデリングと組み合わせることで,大規模で現実的なロボットデータなしで汎用的なRAMを実現することが可能であることが示唆された。
関連論文リスト
- Robots Need More than VLA and World Models [38.16463528269755]
ジェネラリストロボットインテリジェンスは、しばしばポリシースケーリング問題として扱われる。
本稿では、このフレーミングは不完全である、と論じる。
次世代ロボティクスに欠落する4つのコンポーネントを特定します。
論文 参考訳(メタデータ) (2026-06-04T10:43:14Z) - PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation [48.807071017228964]
我々は,3次元の点流として共有された3次元空間における状態と動作を統一する,大規模な事前学習型3次元世界モデルであるPointWorldを紹介した。
リアルタイム(0.1秒)の推論速度により、PointWorldは、操作のためのモデル予測制御(MPC)フレームワークに効率的に統合できる。
本研究では,実世界のフランカロボットが,物体の剛体押圧,変形,調音操作を行うことのできる1つの事前学習チェックポイントを実証した。
論文 参考訳(メタデータ) (2026-01-07T10:29:12Z) - MiVLA: Towards Generalizable Vision-Language-Action Model with Human-Robot Mutual Imitation Pre-training [102.850162490626]
人間のロボットによる相互模倣事前学習による視覚-言語-行動モデルであるMiVLAを提案する。
MiVLAは、最先端のVLAよりも優れた、強力な改良された一般化能力を実現する。
論文 参考訳(メタデータ) (2025-12-17T12:59:41Z) - SPEAR-1: Scaling Beyond Robot Demonstrations via 3D Understanding [78.12178144115224]
ロボットファウンデーションモデル(RFMs)は、ロボット制御のための汎用的なエンドツーエンドシステムとして大きな可能性を秘めている。
本稿では,3次元アノテーションを用いた非ロボティックな画像データの統合と,3次元理解機能を備えた事前学習VLMの強化を提案する。
我々は,基礎となる3次元認識と言語による具体化制御を統合したロボット基礎モデルであるtextbfSPEAR-1$を紹介した。
論文 参考訳(メタデータ) (2025-11-21T17:09:43Z) - GWM: Towards Scalable Gaussian World Models for Robotic Manipulation [53.51622803589185]
本稿では,ロボット操作のための世界モデルGawssian World Model (GWM)を提案する。
中心となるのは、潜伏拡散変換器(DiT)と3次元変分オートエンコーダを組み合わせることで、微粒なシーンレベルの将来の状態復元を可能にする。
シミュレーションと実世界の実験の両方で、GWMは多様なロボットのアクションに照らされた未来のシーンを正確に予測できる。
論文 参考訳(メタデータ) (2025-08-25T02:01:09Z) - FP3: A 3D Foundation Policy for Robotic Manipulation [12.115347477632783]
ロボット操作のための最初の大規模3D基礎政策モデルであるFP3を紹介する。
わずか80のデモで、FP3は、見えないオブジェクトを持つ新しい環境で90%以上の成功率で新しいタスクを学ぶことができる。
論文 参考訳(メタデータ) (2025-03-11T23:01:08Z) - VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。
VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文 参考訳(メタデータ) (2025-03-10T10:04:58Z) - Pre-training Auto-regressive Robotic Models with 4D Representations [43.80798244473759]
ARM4Rは、人間のビデオデータから学んだ低レベルの4D表現を利用して、より優れた事前訓練されたロボットモデルを生成する自動回帰ロボットモデルである。
実験の結果、ARM4Rは人間のビデオデータからロボットへ効率よく転送でき、さまざまなロボット環境や構成におけるタスクのパフォーマンスを継続的に改善できることがわかった。
論文 参考訳(メタデータ) (2025-02-18T18:59:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。