論文の概要: Encoded but Not in Control: Revealing the Grounding Gap in Vision-Language Robot Policies

• arxiv url: http://arxiv.org/abs/2610.06235v1
• Date: Mon, 05 Oct 2026 12:37:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 17:38:27.579272
• Title: Encoded but Not in Control: Revealing the Grounding Gap in Vision-Language Robot Policies
• Title（参考訳）: エンコードされているが制御されていない:ビジョンランゲージ型ロボットのグラウンド・ギャップを発見
• Abstract要約: シミュレーションおよび実世界の実験において,視覚言語行動ポリシーと世界行動モデルを評価する。 以上の結果から,名目上の成功によって隠蔽された接地的ギャップが明らかとなり,診断の枠組みが確立された。
• 参考スコア（独自算出の注目度）: 39.32890254182452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction following is central to language-conditioned robot policies: language should determine what to do when the same scene permits multiple valid actions. Yet successful execution alone cannot establish whether a policy follows the instruction or infers the task from the scene. We study this ambiguity through scene-preserving instruction interventions, using valid target substitutions, arbitrary nouns, and unrelated sentences while holding the scene fixed. We evaluate vision-language-action (VLA) policies and world-action models (WAMs) in simulation and in real-world experiments. Our analysis addresses three questions: (a) Does task success imply instruction following? When instructions request a different visible object, all evaluated policies predominantly approach and pick up the incorrect original target associated with the scene. (b) Is this failure caused by language insensitivity? Instruction perturbations affect task performance. A layerwise action lens shows intermediate action predictions respond to these perturbations. Linear probes accurately recover instructed targets, indicating modified instructions are encoded despite rarely determining target selection. (c) Why does encoded language fail to control action? Attention analysis indicates weak instruction-token contributions to action generation. Target-token attention can remain focused on the original object, revealing a mismatch between target encoding and visual grounding. UMAP and shared non-negative matrix factorization show target information remains accessible within representations increasingly organized by scene identity. Our findings expose a grounding gap concealed by nominal success and provide a diagnostic framework. They further establish a concrete criterion for progress: policies should reliably follow valid changes in user intent, even when they conflict with scene-favored behavior.
• Abstract（参考訳）: 言語は、同じシーンが複数の有効なアクションを許可した場合に何をすべきかを決定するべきである。 しかし、成功した実行だけでは、ポリシーが命令に従うか、あるいはシーンからタスクを推測するかどうかを確定できない。 この曖昧さは、シーンを固定したまま、有効なターゲット置換、任意の名詞、無関係な文を用いて、シーン保存指導の介入を通して研究する。 視覚言語行動(VLA)と世界行動モデル(WAM)をシミュレーションおよび実世界の実験で評価する。 私たちの分析では3つの疑問に対処しています。 (a)課題成功は次の指示を暗示しているか。 命令が異なる可視オブジェクトを要求するとき、評価されたポリシーは、主にシーンに関連する不正なオリジナルターゲットを拾い上げる。 (b)この失敗は言語過敏によって引き起こされるのか? 命令の摂動はタスクのパフォーマンスに影響を及ぼす。 層状作用レンズは、これらの摂動に応答する中間作用予測を示す。 線形プローブは指示対象を正確に回収し、目標選択をほとんど決定しないにもかかわらず、修正命令が符号化されることを示す。 (c)なぜエンコードされた言語はアクションを制御できないのか? 注意分析は、行動生成に対する弱い指導的貢献を示す。 ターゲットを意識した注意は、元のオブジェクトに焦点を合わせ、ターゲットエンコーディングと視覚的グラウンドニングのミスマッチを明らかにする。 UMAPと共有非負の行列分解は、シーンアイデンティティによってますます整理される表現の中でターゲット情報がアクセス可能であることを示している。 以上の結果から,名目上の成功によって隠蔽された接地的ギャップが明らかとなり,診断の枠組みが確立された。 ポリシーは、シーンに好意的な振る舞いに反する場合でも、ユーザ意図の有効な変更を確実に従わなければならない。

関連論文リスト

• PerturBot: Breaking Shortcut Priors in Vision-Language-Action Models with Perturbative Training [54.81497176604651]
  視覚-言語-アクション(VLA)ポリシーは、その行動を決定する証拠を無視しながら、複雑なタスクを完了することができる。 私たちはこれらの依存関係をモダリティショートカット(Modality shortcuts)と呼んでいる: 成功例の正規性は、専門家の行動を予測するのに十分な視覚的、語彙的、あるいは運動的手がかりを生み出す。 本稿では,タスク関連エビデンスをより使いやすくし,自分でもショートカットが不十分なPerturbotを提案する。
  論文  参考訳（メタデータ） (2026-10-03T15:57:51Z)
• Trajectory-Level Redirection Attacks on Vision-Language-Action Models [8.83087913765963]
  視覚言語アクション(VLA)ポリシーは、自然言語をクローズドループロボット制御にもたらすことで、ロボットはテキスト命令から直接操作タスクを実行することができる。 本研究は,低レベルなアクションを対象とする場合や,変化するイメージをまたいだアクションを継続させる場合の逆方向のプロンプトについて検討する。 実験により、ほぼ良性な急激な摂動がVLAロールアウトを攻撃者が特定したターゲットにリダイレクトできることが示されている。
  論文  参考訳（メタデータ） (2026-06-11T07:12:17Z)
• TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
  VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。 本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。 我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
  論文  参考訳（メタデータ） (2026-03-25T17:56:32Z)
• Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration [24.562540060971273]
  VLA(Vision-Language-Action)モデルにより、ロボットは自然言語命令から直接操作タスクを実行することができる。 言語命令がシーンに矛盾する場合でも、VLAポリシーが視覚的に妥当な動作を実行し続ける重要な障害モードを明らかにする。 Instruction-Guided Attention Recalibration (IGAR) を提案する。
  論文  参考訳（メタデータ） (2026-03-06T08:01:36Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• Efficient Alignment of Unconditioned Action Prior for Language-conditioned Pick and Place in Clutter [59.69563889773648]
  本研究では,ロボットが対象物を開き散らかし,特定の場所に移動させるという,言語条件のピック・アンド・プレイス作業について検討する。 いくつかのアプローチは、ビジョンファウンデーションモデルから機能を使ってエンドツーエンドのポリシーを学び、大きなデータセットを必要とする。 本研究では,無条件動作先行と3次元視覚言語先行とを1つの注意層から学習することで協調する行動先行アライメント手法を提案する。
  論文  参考訳（メタデータ） (2025-03-12T14:20:33Z)
• Goal Representations for Instruction Following: A Semi-Supervised Language Interface to Control [58.06223121654735]
  本稿では,少数の言語データのみを用いて,共同画像と目標条件のポリシーを言語と併用する手法を提案する。 本手法は,言語を目標画像と一致させないラベル付きデータから埋め込みを学習することにより,実世界のロバストな性能を実現する。 ラベル付きデータの外部の言語命令に一般化して,様々な操作タスクをさまざまな場面で追従する命令を示す。
  論文  参考訳（メタデータ） (2023-06-30T20:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。