論文の概要: VLA-$Δ$: Learning Physical State Transition for Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.21306v1
- Date: Thu, 15 Oct 2026 05:54:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.207274
- Title: VLA-$Δ$: Learning Physical State Transition for Vision-Language-Action Models
- Title(参考訳): VLA-$Δ$:ビジョン・ランゲージ・アクションモデルのための物理状態遷移の学習
- Abstract要約: 視覚言語行動モデル(VLA)は、視覚言語事前学習を通じて獲得した意味知識をロボット制御に伝達する。
VLA-$は、現在の状態と将来の状態の物理的変化を明示的な学習ターゲットとして利用する一般的なフレームワークである。
推論の間、モデルは、追加の推論オーバーヘッドなしで、現在の観測から直接アクションを生成します。
- 参考スコア(独自算出の注目度): 28.869119682454386
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models transfer semantic knowledge acquired through vision-language pretraining to robot control, achieving strong performance across various benchmarks. However, most VLAs directly map observations to demonstrated actions without explicit supervision of intermediate physical state changes, making them prone to overfitting observation-action correspondences. Some methods introduce intermediate reasoning or future-state prediction in language, visual, or latent spaces to guide action generation, but do not explicitly supervise the physical state transition itself. We therefore propose VLA-$Δ$, a general framework that uses physical changes between current and future states as explicit learning targets. To support this objective, we construct a large-scale pretraining dataset and derive physical state-transition annotations covering task-relevant semantics and visual motion changes, providing more direct supervision for continuous action generation. During inference, the model generates actions directly from current observations without additional inference overhead. VLA-$Δ$ achieves performance competitive with the state of the art on LIBERO and RoboTwin, and outperforms $π_{0.5}$ in real-robot experiments. Our code is available at https://github.com/ZJU-OmniAI/VLA-Delta
- Abstract(参考訳): 視覚言語アクション(VLA)モデルは、視覚言語事前学習を通じて獲得した意味知識をロボット制御に伝達し、様々なベンチマークで高い性能を達成する。
しかしながら、ほとんどのVLAは、観察を直接マッピングして、中間状態の変化を明示的に監督することなく、観察と反応の対応を過度に適合させる傾向がある。
動作生成を導くために言語、視覚、潜在空間で中間的推論や将来の状態予測を導入する方法もあるが、物理的状態遷移自体を明示的に監督するものではない。
そこで我々は,現在の状態と将来の状態の物理的変化を明示的な学習ターゲットとして利用する一般的なフレームワークであるVLA-$Δ$を提案する。
この目的を達成するために、大規模事前学習データセットを構築し、タスク関連セマンティクスと視覚運動の変化をカバーした物理的状態遷移アノテーションを導出し、継続的な行動生成のより直接的な監視を提供する。
推論の間、モデルは、追加の推論オーバーヘッドなしで、現在の観測から直接アクションを生成します。
VLA-$Δ$ は LIBERO と RoboTwin の最先端技術と性能を競い合い、実ロボット実験では$π_{0.5}$ を上回ります。
私たちのコードはhttps://github.com/ZJU-OmniAI/VLA-Deltaで利用可能です。
関連論文リスト
- ObjDream: Guiding Vision-Language-Action Models with Object-Level Understanding and Future State Prediction [56.47390090011296]
視覚言語アクション(VLA)モデルは、ロボット操作の強力なパラダイムとして登場した。
既存のVLAモデルは、事前訓練された視覚誘導バックボーンから継承された画像レベルの視覚表現で動作する。
私たちは、オブジェクトレベルの理解と将来のオブジェクト状態予測に焦点を当てた、オブジェクト中心のフレームワークであるDreamを紹介します。
論文 参考訳(メタデータ) (2026-10-14T14:06:03Z) - Beyond Actions: Learning Future Operation Targets for Vision-Language-Action Models [56.97744308982891]
本稿では,将来的な物理的効果を政策の主要な予測対象とするアクション-フューチャー結合効果学習(AFCE)を紹介する。
AFCEは50.97%$で、それぞれ$_0.5$、UVTを11.82ポイント、UVTを15.21ポイント改善している。
論文 参考訳(メタデータ) (2026-10-09T08:29:46Z) - FoMoVLA: Bridging Visual Foresight and Motion Guidance for Vision-Language-Action Models [21.446753234768824]
既存の視覚的手法は将来の視覚状態を予測するが、明確な動作誘導は欠如している。
本稿では,VLA表現を明示的な時間的監督で拡張するフレームワークであるFoMoVLAを提案する。
論文 参考訳(メタデータ) (2026-07-16T09:04:50Z) - VLAFlow: A Unified Training Framework for Vision-Language-Action Models via Co-training and Future Latent Alignment [17.204682551730205]
本稿では,VLAトレーニング目標を比較するための統合フローマッチングフレームワークであるVLAFlowを提案する。
我々は,同じpi0型アーキテクチャ,共有VLMバックボーン,アクションエキスパート,14次元アクション空間の4つのパラダイムを評価した。
論文 参考訳(メタデータ) (2026-07-02T01:38:16Z) - Two Bridges, One Pathway: From VLMs to Generalizable VLAs with Embodied Trajectory-Coupled Data [93.7685703383343]
視覚言語モデル(VLM)は強力な汎用推論器であるが、ロボット制御ポリシーに変換することは驚くほど難しい。
このギャップは、適切な中間データで徐々にブリッジできると我々は主張する。
本研究では,タスク関連アウト・オブ・ディストリビューションETCデータと少量のアクションデータとを混合することにより,新しい視覚言語条件に一般化できることを示す。
論文 参考訳(メタデータ) (2026-06-07T08:57:51Z) - Mitigating State Aliasing in Vision-Language-Action Models via Inverse Dynamics Learning [32.59795755994378]
本稿では,VLA(Vision-Language-Action)視覚エンコーダを直接監督する補助目的として,逆ダイナミクス学習を導入する。
本研究の目的は、現在の観測と将来の観測のアクションを予測することにより、エンコーダが低レベルの動作を決定する細粒度の視覚的特徴を捉えることを奨励する。
CALVIN ABC-DとSimplerEnvの実験では、様々なVLAベースラインで一貫した利得を示している。
論文 参考訳(メタデータ) (2026-05-28T08:22:49Z) - CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。
視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。
実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
論文 参考訳(メタデータ) (2025-03-27T22:23:04Z) - OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。
既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。
本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
論文 参考訳(メタデータ) (2025-03-05T18:44:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。