論文の概要: When Instructions Retrieve Trajectories: Diagnosing and Mitigating Generalization Failures in VLA Models

• arxiv url: http://arxiv.org/abs/2609.39971v1
• Date: Wed, 30 Sep 2026 15:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.98034
• Title: When Instructions Retrieve Trajectories: Diagnosing and Mitigating Generalization Failures in VLA Models
• Title（参考訳）: 指示が軌道を導くとき--VLAモデルにおける一般化失敗の診断と緩和-
• Abstract要約: 視覚言語アクション(VLA)モデルは、分配タスクで90%以上の成功を達成できる。 ポリシーは言語と視覚の両方に反応するが、それらを組み合わせてタスクが必要とするアクションを選択することはない。 細調整された$_0.5$とGR00T-N1.7ポリシーの振る舞い解析により、ロールアウトが失敗した場合、ソースの動作を維持したり、別のデモタスクに切り替えたりすることが多いことが明らかになった。
• 参考スコア（独自算出の注目度）: 18.16273179954973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models can exceed 90% success on in-distribution tasks and withstand nuisance changes that preserve the required action, yet fail under counterfactual changes that demand a different action. Aggregate robustness scores can therefore conceal a more specific failure, in which a policy responds to both language and vision yet does not combine them to select the action the task requires. We call this failure instruction-action binding. Instructions cue familiar trajectory families, and visual feedback adjusts their execution. Behavioral analyses of fine-tuned $π_{0.5}$ and GR00T-N1.7 policies reveal that failed rollouts often retain the source behavior or switch to another demonstrated task. These switches show that language is not simply ignored. Readouts and interventions connect these choices to task-conditioned internal states. Our analysis of the imitation objective shows how narrow conditional action support can leave grounded and instruction-keyed solutions indistinguishable on the demonstrations. This motivates Equivariant Counterfactual Training (ECT), which acts at two levels. ECT data supply valid demonstrations in which the same instruction requires different actions in distinguishable scenes, while the ECT loss trains each demonstration with its counterpart in the same update. In a controlled LIBERO-PRO comparison, full ECT raises $π_{0.5}$'s mean position-swap success from 36% to 59%. On CALVIN, where counterparts already occur in the original data, the ECT loss improves five-task completion without new demonstrations. On a real UR5e under a fixed demonstration budget, full ECT raises unseen-position success from 8% to 88%.
• Abstract（参考訳）: ヴィジュアル・ランゲージ・アクション(VLA)モデルは、イン・ディストリビューション・タスクにおいて90%以上の成功を達成でき、必要なアクションを保存するニュアンス・チェンジに耐えるが、異なるアクションを要求する反ファクト・チェンジの下で失敗する。 したがって、ロバスト性スコアは、ポリシーが言語とビジョンの両方に反応するが、タスクが必要とするアクションを選択するためにそれらを組み合わせていない、より具体的な失敗を隠すことができる。 私たちはこの障害命令-アクションバインディングを呼んでいます。 慣れ親しんだ軌跡の家族に指示を与え、視覚フィードバックが実行を調整する。 微調整された$π_{0.5}$とGR00T-N1.7ポリシーの振る舞い解析により、失敗するロールアウトがソースの振る舞いを保持したり、他の実証されたタスクに切り替えたりすることが多いことが明らかになった。 これらのスイッチは、言語が単に無視されるわけではないことを示している。 読み出しと介入は、これらの選択をタスク条件付き内部状態に結び付ける。 模擬目的について分析した結果, 条件付き動作支援の狭さが, 実演では見分けがつかなくなることがわかった。 これはEquivariant Counterfactual Training (ECT) を動機付け、2つのレベルで活動する。 ECTデータが提供する有効なデモでは、同じ命令が区別可能なシーンで異なるアクションを必要とする。 制御されたLIBERO-PRO比較では、完全ECTはπ_{0.5}$の平均的な位置スワップ成功を36%から59%に引き上げる。 CALVINでは、元のデータにすでに対応するものが存在するため、ECT損失は新しいデモなしで5タスク完了を改善する。 実際のUR5eでは、固定されたデモ予算の下で、フルECTは、見つからないポジションの成功を8%から88%に引き上げる。

関連論文リスト

• When Do Models Admit They Are Wrong? Failure Disclosure Is Unstable Under Reinforcement Learning [28.878925811202084]
  アウトカムベースの強化学習は、同様のタスクパフォーマンスを持つモデルを生成することができるが、その失敗についてコミュニケーションするまったく異なる方法がある。 我々は、失敗の開示について研究する: あるモデルが、試みられた解決策が失敗していることを認めているかどうかを、黙秘または成功として提示するよりはむしろ調査している。
  論文  参考訳（メタデータ） (2026-09-27T05:01:03Z)
• VABench: Measuring Embodied Spatial Intelligence through Visual Demonstrations, Active Perception, and Metric Control [57.5995346750474]
  VA-Benchを導入し、完全なオブザーバ・レアソン・アクト・リビジョンループを評価する。 汎用MLLMは、RGBのみのデモンストレーションから手続き的コンテキストを学習する。 モデルには特権オブジェクトのポーズ、オラクルの軌跡、学習されたアクションヘッドは含まれない。
  論文  参考訳（メタデータ） (2026-09-17T01:24:51Z)
• SENTINEL: Failure-Driven Reinforcement Learning for Training Tool-Using Language Model Agents [52.758563996979596]
  言語モデルエージェントは、マルチターンツールの使用によって現実的なタスクを解決するのにますます効果的である。 SENTINELは障害駆動型強化学習フレームワークで,障害のロールアウトを目標とするトレーニングタスクに変換する。 Tau2-Bench Retail with Qwen3-4B-Thinking-2507では、SENTINELはPass1を66.4から74.9に改善し、Passkメトリクス全体にわたる一般的な合成タスクにおいてRLを上回っている。
  論文  参考訳（メタデータ） (2026-06-11T05:06:50Z)
• When Correct Demonstrations Hurt: Rethinking the Role of Exemplars in In-Context Learning [14.102553871638243]
  インコンテキスト学習(ICL)は、しばしばデモが正しいインプット・アウトプットの例を提供するために役立つ直感によって動機づけられる。 有効性は保証されていないことを示し、いくつかの正しい実演はICLの精度を低下させることさえできることを示した。 以上の結果から,頑健なICLは実演が正しいかどうかだけでなく,文脈的推論にどのように影響するかを評価する必要があることが示唆された。
  論文  参考訳（メタデータ） (2026-05-25T21:52:49Z)
• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• When Vision Overrides Language: Evaluating and Mitigating Counterfactual Failures in VLAs [31.92520697946991]
  VLA(Vision-Language-Action Model)は、ロボット制御における言語命令の基盤となることを約束するが、実際には言語に忠実に従わないことが多い。 反ファクトの失敗は、最先端のVLAで発見されていないことが示される。 本稿では,単純な2分岐推論方式であるCAGを提案する。
  論文  参考訳（メタデータ） (2026-02-19T18:59:20Z)
• Vision-Language Models Unlock Task-Centric Latent Actions [75.53481518882275]
  本稿では、視覚言語モデル(VLM)の常識推論能力を利用して、迅速な表現を実現することを提案する。 そこで本研究では,VLMに障害を無視するよう求めれば,遅延動作の質が大幅に向上し,解離メタワールドにおける下流の成功率が最大6倍に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-30T08:38:59Z)
• EVOLVE-VLA: Test-Time Training from Environment Feedback for Vision-Language-Action Models [57.75717492488268]
  VLA(Vision-Language-Action)モデルは、大きな言語モデルを活用することで高度なロボット操作を行う。 Supervised Finetuning (SFT) では、タスク毎の数百のデモ、厳格に軌跡を記憶すること、デプロイメント条件がトレーニングから逸脱したときに適応できないことなどが求められている。 EVOLVE-VLA(EVOLVE-VLA)は、VLAが最小またはゼロのタスク固有のデモで環境相互作用を通じて継続的に適応できるテストタイムトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-12-16T18:26:38Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• AnyPos: Automated Task-Agnostic Actions for Bimanual Manipulation [24.199522837278128]
  本稿では,タスク固有の条件からアクション実行を分離するタスク非依存のアクションパラダイムを提案する。 ATARAはスケーラブルなセルフ教師付きフレームワークで、人間の遠隔操作と比較して30倍以上のコレクションを高速化する。 我々はArm-Decoupled EstimationとDirection-Aware Decoderを備えた逆動的モデルであるAnyPosを提案する。
  論文  参考訳（メタデータ） (2025-07-17T03:48:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。