論文の概要: Do VLAs Really Follow Instructions? Diagnosing How-Level Instruction Following in Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.21251v1
- Date: Thu, 15 Oct 2026 04:45:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.192852
- Title: Do VLAs Really Follow Instructions? Diagnosing How-Level Instruction Following in Vision-Language-Action Models
- Title（参考訳）: VLAは本当にフォローインストラクションを行うか? : 視覚・言語・アクションモデルを用いたハウレベルインストラクションの診断
- Abstract要約: How-level命令は、現在のビジョンアクション(VLA)モデルやタスク成功率の低下に役立ちません。
セグメントレベルのリッチな指示によるトレーニングは、タスクの成功を常に引き上げることなく、アクションがそうした指示に応答することを示します。
- 参考スコア（独自算出の注目度）: 15.13288657142462
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models are expected to follow instructions like their language backbones, yet prior work has focused on What-level instructions that specify the task rather than How-level instructions that specify how to carry it out. Through our diagnoses, we find that How-level instructions do not help current VLAs and lower task success. We hypothesize that pairing each training episode with a single instruction limits How-level instruction following, and show that training with segment-level enriched instructions makes actions respond to such instructions without consistently raising task success. To measure How-level instruction following beyond standard benchmarks, we introduce SIMPLER-IN, where success requires conditions given only in the instruction. It shows that the gained responsiveness does not extend to demanding or out-of-distribution How-level instructions. How-level instruction following thus remains an open challenge.
- Abstract（参考訳）: VLA(Vision-Language-action)モデルは、言語バックボーンのような命令に従うことが期待されているが、以前の作業では、その実行方法を指定するハウレベル命令ではなく、タスクを指定するWhatレベル命令に重点を置いていた。
診断を通して、ハウレベルの指示は現在のVLAやタスク成功の低下に役立ちません。
我々は,各トレーニングエピソードを単一命令でペアリングすることで,ハウレベル命令のフォローを制限し,セグメンテーションレベルに富んだ命令によるトレーニングが,タスクの成功を常に引き上げることなく,これらの命令に応答することを示す。
標準ベンチマーク以上のハウレベル命令を測定するために,SIMPLER-INを導入する。
得られた応答性は、要求や配布外のハウレベルの命令に拡張されない。
したがって、以下の方法が未解決の課題である。
関連論文リスト
- TOD-ProcBench: Benchmarking Complex Instruction-Following in Task-Oriented Dialogues [42.22263009001713]
現実世界のタスク指向対話(TOD)では、エージェントは複雑な命令に厳密に従わなければならない。
既存のTODベンチマークはしばしばこれらの命令の複雑な性質を単純化する。
複雑できめ細かい制約を持つ複雑なプロセス命令を特徴とするベンチマークTOD-ProcBenchを提案する。
論文 参考訳（メタデータ） (2025-11-20T02:10:30Z) - Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
大型言語モデル(LLM)はインジェクション攻撃に弱い。
本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
論文 参考訳（メタデータ） (2025-04-29T07:13:53Z) - From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。
この結果から,指導指導の3つの重要な影響が明らかになった。
論文 参考訳（メタデータ） (2023-09-30T21:16:05Z) - Evaluating the Instruction-Following Robustness of Large Language Models
to Prompt Injection [70.28425745910711]
LLM(Large Language Models)は、命令追従に非常に熟練した言語である。
この能力は、迅速なインジェクション攻撃のリスクをもたらす。
このような攻撃に対する命令追従LDMの堅牢性を評価する。
論文 参考訳（メタデータ） (2023-08-17T06:21:50Z) - Robustness of Learning from Task Instructions [15.462970803323563]
従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。
新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。
本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
論文 参考訳（メタデータ） (2022-12-07T17:54:59Z) - Counterfactual Cycle-Consistent Learning for Instruction Following and
Generation in Vision-Language Navigation [172.15808300686584]
本稿では,2つのタスクを同時に学習し,それぞれのトレーニングを促進するために本質的な相関性を利用するアプローチについて述べる。
提案手法は,様々な追従モデルの性能を改善し,正確なナビゲーション命令を生成する。
論文 参考訳（メタデータ） (2022-03-30T18:15:26Z) - ELLA: Exploration through Learned Language Abstraction [6.809870486883877]
ELLAは、環境によって提供されるスパースな報酬を豊かにするために、単純な低レベルの指示と高レベルの指示と相関する報酬形成アプローチです。
ELLAは、競合言語ベースの報酬形成やノーシェイピング方法と比較して、複数の環境でサンプル効率が大幅に向上しています。
論文 参考訳（メタデータ） (2021-03-10T02:18:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。