論文の概要: RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents
- arxiv url: http://arxiv.org/abs/2609.25636v1
- Date: Tue, 22 Sep 2026 03:48:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:04.196986
- Title: RoboFollow: Unveiling the Instruction Following Mirage in Embodied Agents
- Title（参考訳）: RoboFollow: 人工呼吸器のミラージュ後に教える
- Abstract要約: RoboFollowは、エンボディエージェントインストラクションの診断ベンチマークである。
その結果,L1-L3の微調整では,L0性能が確実にL1-L3に遷移しないことがわかった。
RoboFollowは、クリティカルで見過ごされたボトルネックとして、真のインストラクションを公開している。
- 参考スコア（独自算出の注目度）: 27.05863814403932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern embodied agents achieve impressive success rates, yet their actual instruction-following ability is far weaker than these numbers suggest. We trace this illusion to a structural property we term low scene entropy: when a visual scene admits only one valid task, language becomes redundant and a policy can score highly while barely using it. We introduce RoboFollow, a diagnostic benchmark with three principles: (1) High Scene Entropy: each training scene supports multiple kinematically distinct task branches, making vision alone insufficient and forcing reliance on language. (2) Hierarchical Diagnostic Protocol: a four-level protocol (L0--L3) progressively perturbs visual layout and semantics, probing whether equivalent instructions yield consistent behavior and distinct ones yield discriminable behavior across spatial relations, attributes, trajectory constraints, and logic. (3) Confound-Controlled Diagnosis: we simplify interaction objects, restrict actions to the trained repertoire and report stage-wise Intent and Execution scores, isolating comprehension from motor execution. Evaluation of nine VLA and WAM policies shows that strong L0 performance, where attained, does not reliably transfer to L1--L3 under our fine-tuning setup. Representative mitigations, including stronger VLM backbones, QA co-training, LangForce, and Classifier-Free Guidance, all fail to close this gap. RoboFollow exposes genuine instruction following as a critical, overlooked bottleneck. Code and dataset are available at https://github.com/AutoLab-SAI-SJTU/RoboFollow and https://huggingface.co/datasets/AutoLab-SJTU/robofollow-data.
- Abstract（参考訳）: 現代の実施エージェントは印象的な成功率を達成するが、実際の指示追従能力はこれらの数字が示すよりもはるかに弱い。
我々は、この錯覚を低シーンエントロピー(low scene entropy)と呼ぶ構造的特性に辿り着く: 視覚的なシーンが1つの有効なタスクしか認めない場合、言語は冗長になり、ポリシーはそれをほとんど使わずに高いスコアを得られる。
1)高シーンエントロピー: 各トレーニングシーンは、複数の運動学的に異なるタスクブランチをサポートし、視覚のみを不十分にし、言語への依存を強いる。
2)階層的診断プロトコル:4段階のプロトコル(L0--L3)は、視覚的レイアウトと意味論を段階的にゆがめ、等価な命令が一貫した振る舞いを生じ、異なる命令が空間的関係、属性、軌道的制約、論理にまたがって識別可能な振る舞いをもたらすかどうかを探索する。
3) コンファウンド・コントラレド診断: 相互作用対象を単純化し, 訓練されたレパートリーに行動を制限し, 段階的インテントと実行スコアを報告し, 運動実行から理解を分離する。
9 つの VLA および WAM ポリシの評価は,L0 が達成された場合,我々の微調整設定下において,L1-L3 に確実に移行しないことを示す。
より強力なVLMバックボーン、QAコトレーニング、LangForce、Classifier-Free Guidanceなどの代表的緩和は、このギャップを埋めることができない。
RoboFollowは、クリティカルで見過ごされたボトルネックとして、真のインストラクションを公開している。
コードとデータセットはhttps://github.com/AutoLab-SAI-SJTU/RoboFollowとhttps://huggingface.co/datasets/AutoLab-SJTU/robofollow-dataで入手できる。
関連論文リスト
- Guide, Think, Act: Interactive Embodied Reasoning in Vision-Language-Action Models [15.486973209713954]
GTA-VLA(Guide, Think, Act)はインタラクティブなビジョンランゲージ・アクション・フレームワークである。
ユーザがロボットポリシーを明示的な視覚的手がかりでガイドできるようにすることで、空間的に操作可能な具体的推論を可能にする。
論文 参考訳（メタデータ） (2026-05-13T14:58:29Z) - PRISM: : Planning and Reasoning with Intent in Simulated Embodied Environments [59.07829883257003]
5つの集合住宅の上に建設され、PRISMは300の人間認証タスクを3つの能力レベルに構成する。
PRISMはエージェントに依存しない実行可能なアクションAPIを公開し、任意のエージェントをエンドツーエンドで評価できるようにする。
論文 参考訳（メタデータ） (2026-05-12T04:59:47Z) - PokeGym: A Visually-Driven Long-Horizon Benchmark for Vision-Language Models [33.89873575295867]
我々はPokeGymを紹介した。Pokemon Legends: Z-Aは視覚的に複雑な3DオープンワールドであるRole-Playing Gameである。
PokeGymは厳格なコードレベルの分離を強制する:エージェントは生のRGB観測のみで動作するが、独立した評価器はメモリスキャンによって成功を検証する。
このベンチマークは、ナビゲーション、インタラクション、混合シナリオにまたがる30のタスク(30-220ステップ)と、3つの命令の粒度(Visual-Guided、Step-Guided、Goal-Only)で構成され、視覚的な接地、セマンティック推論、自律的な探索機能を体系的に分解する。
論文 参考訳（メタデータ） (2026-04-09T15:12:36Z) - Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration [24.562540060971273]
VLA(Vision-Language-Action)モデルにより、ロボットは自然言語命令から直接操作タスクを実行することができる。
言語命令がシーンに矛盾する場合でも、VLAポリシーが視覚的に妥当な動作を実行し続ける重要な障害モードを明らかにする。
Instruction-Guided Attention Recalibration (IGAR) を提案する。
論文 参考訳（メタデータ） (2026-03-06T08:01:36Z) - Act-Observe-Rewrite: Multimodal Coding Agents as In-Context Policy Learners for Robot Manipulation [0.0]
本稿では、LLMエージェントがロボット操作ポリシーを改善するためのフレームワークであるAct-Observe-Rewrite(AOR)を提案する。
AORはLLM推論の単位として、完全な低レベルモーター制御を実装している。
エージェントは、デモンストレーション、報酬工学、勾配更新なしで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-03-03T22:15:55Z) - LIBERO-X: Robustness Litmus for Vision-Language-Action Models [32.29541801424534]
この研究は、評価とデータの観点からVLAベンチマークを体系的に再考する。
LIBERO-Xは階層的評価プロトコルを特徴とするベンチマークで,3つのコア機能を対象とした進行難度レベルを示す。
代表的なVLAモデルを用いた実験では、累積摂動下での大幅な性能低下が示されている。
論文 参考訳（メタデータ） (2026-02-06T09:59:12Z) - SemanticVLA: Semantic-Aligned Sparsification and Enhancement for Efficient Robotic Manipulation [65.6201974979119]
本稿では,効率的なロボットマニピュレーションのためのセマンティックスペーシフィケーション・エンハンスメントを実現する新しいVLAフレームワークSemanticVLAを提案する。
SemanticVLAはOpenVLA on LIBEROベンチマークを21.1%上回り、トレーニングコストと推論遅延を3.0倍と2.7倍に削減した。
論文 参考訳（メタデータ） (2025-11-13T17:24:37Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2025-10-14T17:59:54Z) - HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。
この階層的な分解によって、推定値関数のノイズに頑健になることを示す。
提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
論文 参考訳（メタデータ） (2023-07-22T00:17:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。