論文の概要: The Moving Eye: Enhancing VLA Spatial Generalization via Hybrid Dynamic Data Collection
- arxiv url: http://arxiv.org/abs/2607.02322v1
- Date: Thu, 02 Jul 2026 15:30:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.903681
- Title: The Moving Eye: Enhancing VLA Spatial Generalization via Hybrid Dynamic Data Collection
- Title(参考訳): 移動眼:ハイブリッド動的データ収集によるVLA空間一般化の促進
- Abstract要約: VLA(Vision-Language-Action)モデルは、一般化されたロボット操作において顕著な将来性を示している。
本稿では、VLA空間一般化を強化するためのデータ中心のソリューションを提案する。
- 参考スコア(独自算出の注目度): 5.416023813050294
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) models have shown remarkable promise in generalized robotic manipulation. However, their spatial generalization remains fragile. We argue that simply increasing the number of viewpoints is insufficient. Models often fall into the trap of Shortcut Learning, latching onto spurious correlations (e.g., fixed relative poses between objects or between the camera and robot base) rather than learning true spatial relationships. In this work, we propose a data-centric solution to enhance VLA spatial generalization. We utilize a dual-arm setup where one arm performs manipulation while the other serves as a mobile environmental camera. We systematically evaluate three data distribution patterns: Fixed, Multi-Fixed, and Moving Views. Our findings reveal that a hybrid strategy, combining continuous camera motion with diverse static viewpoints, yields the best performance by substantially reducing spurious correlations while maintaining training stability. Our experiments demonstrate that this strategy mitigates spurious correlations, enabling VLAs to generalize to unseen camera poses and object configurations where simply adding more static viewpoints fails. Crucially, we reveal that the susceptibility to shortcut learning and the struggle with spatial generalization are universal characteristics shared across diverse architectures. Consequently, all evaluated models (ACT, Diffusion, and VLA models including Pi0 and Gr00t) benefit significantly from our mixed data strategy.
- Abstract(参考訳): VLA(Vision-Language-Action)モデルは、一般化されたロボット操作において顕著な将来性を示している。
しかし、それらの空間的一般化は依然として脆弱である。
単に視点の数を増やすだけでは不十分だ、と私たちは主張する。
モデルは、真の空間的関係を学習するのではなく、しばしばショートカット学習の罠に陥り、急激な相関関係(例えば、オブジェクト間の固定された相対的なポーズやカメラとロボットのベース間のポーズ)にたどり着く。
本研究では、VLA空間一般化を強化するためのデータ中心のソリューションを提案する。
我々は、一方の腕が操作を行い、もう一方の腕が移動式環境カメラとして機能するデュアルアーム・セットアップを利用する。
我々は3つのデータ分散パターンを体系的に評価した。
その結果, 連続カメラの動作と様々な静的視点を併用したハイブリッド戦略が, トレーニング安定性を維持しつつ, 突発的相関を著しく低減し, 最高の性能が得られることがわかった。
我々の実験は、この戦略が刺激的な相関を緩和し、VLAが見えないカメラのポーズや、より静的な視点を加えるだけで失敗するオブジェクト構成に一般化できることを実証した。
重要なことは、学習のショートカットと空間的一般化との闘いが、多様なアーキテクチャで共有される普遍的な特徴であることを明らかにする。
その結果、P0やGr00tを含むすべての評価モデル(ACT、Diffusion、VLAモデル)は、混合データ戦略から大きな恩恵を受けることができた。
関連論文リスト
- LAWM-3D: Learning 3D-Aware Latent Actions from Human Videos for Generalizable Robot World Models [64.11117186468533]
世界モデルは、エージェントが現実世界のインタラクションなしで前方ロールアウトと計画を実行することを可能にする。
既存のLAMのほとんどはシングルビュー入力に依存しており、主に2Dピクセル空間で動作する。
LAWM-3Dは、3D対応の潜伏動作を学習するための3つの密結合型鍵設計を提案する。
論文 参考訳(メタデータ) (2026-08-06T07:47:01Z) - Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation [52.61098793949261]
障害駆動型データ拡張フレームワークであるPose6DAugを紹介します。
我々は、ポリシーの成功エピソードを、障害モードのターゲットとなるデモに変換する。
提案手法は,時間的コヒーレントな6次元ポーズ軌道によって駆動される明示的なメッシュで対象物体を固定し,直接3次元で動作させる。
論文 参考訳(メタデータ) (2026-06-18T11:41:25Z) - SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation [43.77409401429281]
VLA(Vision-Language-Action)モデルは、ロボット制御の可能性を秘めているが、複雑な家庭環境におけるパフォーマンスは、まだ準最適である。
モバイル操作には、グローバルなシーンレイアウト、きめ細かい形状、高次元連続的な動作の推論が必要である。
知覚と表現を強化する空間的接地型VLAモデルの学習フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-24T03:44:25Z) - Universal Pose Pretraining for Generalizable Vision-Language-Action Policies [83.39008378156647]
既存のVision-Language-Action(VLA)モデルは、しばしば機能崩壊と訓練効率の低下に悩まされる。
本稿では,VLAトレーニングを3次元空間前駆体抽出のための事前学習フェーズに分離する,分離されたパラダイムであるPose-VLAを提案する。
我々のフレームワークは2段階の事前学習パイプラインに従い、ポーズと動きのアライメントによる基本的な空間接地を確立する。
論文 参考訳(メタデータ) (2026-02-23T11:00:08Z) - Rethinking Visual-Language-Action Model Scaling: Alignment, Mixture, and Regularization [65.37179698521766]
VLA(Vision-Language-Action)モデルは、ジェネラリストロボットの制御を強く約束する。
標準的な「スケールデータ」レシピがロボット工学に翻訳されるかどうかはまだ不明だ。
本稿では,多様なロボットを対象とした事前学習のためのコアトレーニング選択を再考する,VLAスケーリングの体系的かつ制御された研究を提案する。
論文 参考訳(メタデータ) (2026-02-10T12:25:43Z) - Reloc-VGGT: Visual Re-localization with Geometry Grounded Transformer [40.778996326009185]
初期核融合機構による多視点空間統合を行う最初のビジュアルローカライゼーションフレームワークを提案する。
我々のフレームワークはVGGTのバックボーン上に構築されており、多視点3D形状を符号化している。
本研究では,グローバルアテンションの2次複雑さを回避し,計算コストを削減する新しいスパースマスクアテンション戦略を提案する。
論文 参考訳(メタデータ) (2025-12-26T06:12:17Z) - HiMoE-VLA: Hierarchical Mixture-of-Experts for Generalist Vision-Language-Action Policies [83.41714103649751]
具体的インテリジェンスモデルの開発は、高品質なロボットのデモデータへのアクセスに依存する。
異種多種多様なロボットデータを扱うための視覚言語アクションフレームワークであるHiMoE-VLAを提案する。
HiMoE-VLAは既存のVLAベースラインよりも一貫したパフォーマンス向上を示し、高い精度と堅牢な一般化を実現している。
論文 参考訳(メタデータ) (2025-12-05T13:21:05Z) - Grounding Actions in Camera Space: Observation-Centric Vision-Language-Action Policy [47.51062818231493]
本稿では,カメラの観測空間にアクション予測を直接適用するOC-VLA(Observatory-Centric VLA)フレームワークを紹介する。
OC-VLAは、ロボットベース座標系からカメラ座標系にエンドエフェクターポーズを変換する。
この戦略は、カメラ視点の変化に対するモデルレジリエンスを大幅に改善する。
論文 参考訳(メタデータ) (2025-08-18T17:10:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。