論文の概要: IMPACT-VLA: Interaction-aware Multimodal Propagation Attribution via Counterfactual Trajectories for Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2609.15005v1
- Date: Mon, 14 Sep 2026 04:13:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.066808
- Title: IMPACT-VLA: Interaction-aware Multimodal Propagation Attribution via Counterfactual Trajectories for Vision-Language-Action Policies
- Title(参考訳): IMPACT-VLA:視覚・言語・アクション政策のための対物軌道による相互対応型マルチモーダル伝搬属性
- Abstract要約: Vision-Language-Action Policies (VLA) はマルチモーダル入力を用いてロボット操作を行う。
それぞれのモダリティが最終タスクの成功にどの段階が貢献するかは、まだ不明である。
本稿では,視覚・言語・行動政策における相互対応型マルチモーダル・プロパゲーション・アトリビューションを提案する。
- 参考スコア(独自算出の注目度): 3.5795275871379704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-Language-Action (VLA) policies perform robot manipulation tasks using multimodal inputs such as visual observations, proprioceptive states, and language instructions. However, it remains unclear at which execution stages each modality contributes to final task success and how input interventions propagate through subsequent states, observations, and actions. Existing attribution approaches primarily measure local sensitivity or temporally aggregated importance, limiting their ability to capture phase-dependent contributions and cross-phase dependencies. We propose Interaction-aware Multimodal Propagation Attribution via Counterfactual Trajectories for Vision-Language-Action Policies (IMPACT-VLA). IMPACT-VLA constructs behavioral phases from action transitions in a successful reference rollout, aligns them with policy query boundaries, and defines phase-modality blocks as attribution units. It then performs closed-loop counterfactual re-execution to quantify each block's contribution to final task success. We further analyze cross-phase non-additive interactions and trajectory propagation while distinguishing behavioral from functional recovery. Across 30 LIBERO robot manipulation tasks using OpenVLA-OFT, dominant-modality transitions occurred in 25 tasks (83.3%), and closed-loop attribution identified task-critical information more faithfully than Static Action Perturbation. Later-block marginal gains for negatively interacting pairs increased by approximately 3.3x under early-phase input replacement, while functional recovery could occur without behavioral recovery. These results reveal when multimodal inputs support task success and how their contributions become conditionally coupled during closed-loop execution.
- Abstract(参考訳): VLA(Vision-Language-Action)ポリシーは、視覚的観察、受容状態、言語命令などのマルチモーダル入力を用いたロボット操作タスクを実行する。
しかし、各実行段階が最終作業の成功に寄与し、入力介入がその後の状態、観察、行動を介してどのように伝播するかは、まだ不明である。
既存の属性アプローチは、主に局所的な感度または時間的に集約された重要性を計測し、フェーズ依存的なコントリビューションとフェーズ間の依存関係をキャプチャする能力を制限する。
本稿では,視覚・言語・行動ポリシー (IMPACT-VLA) の相互対応型マルチモーダル・プロパゲーション・アトリビューションを提案する。
IMPACT-VLAは、アクショントランジションからアクションのロールアウトを成功させ、それらをポリシークエリ境界と整列させ、フェーズモダリティブロックを属性単位として定義する。
その後、クローズドループのカウンターファクトリ実行を実行し、各ブロックの最終的なタスク成功への貢献を定量化する。
さらに, 機能回復と挙動を区別しながら, 異相非付加的相互作用と軌道伝播を解析した。
OpenVLA-OFTを使った30以上のLIBEROロボット操作タスク、25のタスク(83.3%)で支配的モダリティ遷移が起こり、クローズループ属性は静的アクション摂動よりもタスククリティカルな情報を忠実に識別した。
負に相互作用するペアに対する後ブロックの辺縁ゲインは、初期相の入力置換により約3.3倍増加し、機能回復は行動回復なしに起こりうる。
これらの結果は,マルチモーダル入力がタスク成功をサポートし,そのコントリビューションがクローズドループ実行中に条件付き結合されるかを明らかにする。
関連論文リスト
- UniMPA: A Unified Memory-Prediction-Action Model via Action-Grounded Transition Modeling [73.35395707747456]
ビジョン・ランゲージ・アクションモデルの最近の進歩はロボット操作を改善しているが、基本的な遷移実現可能性のギャップによって観察・行動学習は制限されている。
将来の観測は、物理的に実現可能な遷移と必ずしも一致しない。
歴史的に実行可能なアクションパターンは、現在のシーンにおける意図した遷移を必ずしも認識しない可能性があるため、コンテキスト対応の適応が必要である。
論文 参考訳(メタデータ) (2026-09-10T17:45:03Z) - VLA-Corrector: Stage-Aware Observable State Understanding for Prompt-Based Closed-Loop Recovery of Vision-Language-Action Policies [12.698552476812855]
VLA(Vision-Language-Action)ポリシーによる長距離ロボット操作は、実行時の逸脱に対して脆弱である。
本稿では,固定VLAポリシのクローズループ修正を可能にする,ステージアウェアの故障検証とPromptリカバリフレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-06T09:50:30Z) - PACE: Phase-Progress-Aware Credit for Long-Horizon Embodied Manipulation [17.66354304197193]
政策改善には段階的な信用信号が要求され、タスクを進行させる行動と停滞または後退する行動とを区別する。
PACEは,長期操作のポストトレーニングのためのクレジットアサインメントフレームワークである。
論文 参考訳(メタデータ) (2026-08-15T04:25:16Z) - Temporal GRPO: Beyond Trajectory-Level Credit in Vision-Language-Action Reinforcement Learning [27.507258147328]
アウトカム駆動強化学習は、タスク・サクセスの少ないフィードバックから、視覚-言語-アクション(VLA)ポリシーをトレーニング後処理するスケーラブルな方法を提供する。
RoboTwin 2.0では、Temporal GRPOがタスク成功とサンプル効率を改善し、タスク水平線を一貫したゲインを実現している。
論文 参考訳(メタデータ) (2026-08-13T09:54:14Z) - AutoIntervene: Calibrated Intervention for Action-Chunking Imitation Learning Policies [4.786936073180585]
アクションチャンキングビズモータポリシは、デモから学び、時間的一貫性を改善する。
デプロイ中にアクションチャンキングポリシーとオペレータ間で制御を選択的に転送するオンラインフレームワークであるAutoInterveneを提案する。
論文 参考訳(メタデータ) (2026-08-07T10:14:29Z) - SegDiff: Segmented Trajectory Diffusion for Consistent and Adaptive Robot Manipulation [65.81476183180527]
両パラダイムの長所を統合するクローズドループビズモータポリシであるSegDiffを紹介する。
SegDiffはデモをキーセグメンテーション間で動作セグメントに分解し、現在の状態から次のキーセグメンテーションまでの連続的な軌跡を予測することを学習する。
SegDiffは、さまざまなシミュレートされた実世界のシナリオにおいて、既存のアプローチよりも大きなパフォーマンス向上を示している。
論文 参考訳(メタデータ) (2026-07-13T02:48:03Z) - PALM: Progress-Aware Policy Learning via Affordance Reasoning for Long-Horizon Robotic Manipulation [27.791908160098625]
PALMは、インタラクション中心のアベイランス推論とサブタスクプログレスキューに関するポリシー学習を構築する。
Palmはシミュレーションや実世界の実験において、一貫してベースラインを上回っている。
論文 参考訳(メタデータ) (2026-01-11T21:00:58Z) - Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。
我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
論文 参考訳(メタデータ) (2025-12-02T14:42:54Z) - ContextVLA: Vision-Language-Action Model with Amortized Multi-Frame Context [54.58057019521198]
時間的コンテキストを活用することは、部分的に観察可能なロボットタスクの成功に不可欠である。
動作のクローン化に関する以前の研究は、複数フレームの観測で不整合のパフォーマンス向上を示した。
マルチフレーム観測を効果的に活用することにより、ロボットタスクのパフォーマンスを堅牢に向上するポリシーモデルであるContextVLAを紹介する。
論文 参考訳(メタデータ) (2025-10-05T15:29:57Z) - PARL-MT: Learning to Call Functions in Multi-Turn Conversation with Progress Awareness [57.020401590532686]
マルチターン関数呼び出しのためのLLMトレーニングに進捗認識を明示的に組み込むフレームワークであるPARL-MTを導入する。
PARL-MTは既存の手法よりも優れており、堅牢で効率的なマルチターン関数呼び出しの実現における進捗認識の有効性を強調している。
論文 参考訳(メタデータ) (2025-09-27T09:32:27Z) - Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。
モーダル内相互作用を利用した解釈可能性の向上を提案する。
論文 参考訳(メタデータ) (2025-09-26T14:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。