論文の概要: RoboIRGBench: Benchmarking Implicit Referential Grounding in Vision-Language-Action Models

• arxiv url: http://arxiv.org/abs/2609.34384v1
• Date: Mon, 28 Sep 2026 06:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 21:17:41.541229
• Title: RoboIRGBench: Benchmarking Implicit Referential Grounding in Vision-Language-Action Models
• Title（参考訳）: RoboIRGBench:視覚・言語・アクションモデルにおける暗黙の参照グラウンドのベンチマーク
• Abstract要約: 人間はしばしば対象、量、関係を暗黙的に参照し、ロボットは言語的・知覚的な文脈から意図した標的を回復する必要がある。 我々は、この機能をImplicit Referential Grounding (IRG)として研究し、RoboIRG-Benchを導入した。 明示的な指示の下で良好に機能するモデルは、同じタスク関連情報をコンテキストから回収する必要がある場合に、急激に劣化する可能性がある。
• 参考スコア（独自算出の注目度）: 39.40159923591005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language-Action (VLA) models have shown strong capabilities in robotic manipulation, yet existing benchmarks typically assume that task-relevant information is explicitly specified in the instruction. In practice, however, humans frequently refer to objects, quantities, and relations implicitly, requiring robots to recover the intended target from linguistic and perceptual context. We study this capability as Implicit Referential Grounding (IRG) and introduce RoboIRG-Bench, a manipulation benchmark designed to systematically evaluate it. Built upon RoboMME, RoboIRG-Bench contains 40 variants derived from 11 tasks and covers four challenges, including direct, reasoning-mediated, spatial, and contextual referential grounding. As IRG often requires retaining and retrieving previously established context, we evaluate representative VLAs spanning different memory mechanisms. Our evaluation reveals a noticeable referential robustness gap. Models that perform well under explicit instructions can degrade sharply when the same task-relevant information must be recovered from context. Reasoning-mediated and spatial references are particularly challenging, while models using external VLMs show greater robustness but still exhibit significant failures. Moreover, replacing the external VLM with a stronger model does not eliminate these gaps. We further validate these findings on a Franka Research 3 robot arm, where the gap persists under real-world manipulation and manifests as both incorrect referent grounding and downstream execution failures. These results establish IRG as a distinct and underexplored capability for reliable robotic instruction following and highlight the need for VLAs that can robustly integrate language, perception, reasoning, and action.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルは、ロボット操作において強力な能力を示しているが、既存のベンチマークでは、タスク関連情報が命令で明示的に指定されていると仮定されている。 しかし実際には、人間はしばしば対象、量、関係を暗黙的に参照し、ロボットは言語的・知覚的な文脈から対象を回復する必要がある。 我々は、この機能をImplicit Referential Grounding (IRG)として研究し、RoboIRG-Benchを導入した。 RoboMMEをベースとして開発されたRoboIRG-Benchには、11のタスクから派生した40の亜種が含まれており、直接、推論、空間的、文脈的な参照基盤を含む4つの課題をカバーしている。 IRGは以前確立されたコンテキストの保持と検索を必要とすることが多いため、異なるメモリ機構にまたがる代表的VLAを評価する。 我々の評価では、顕著な参照堅牢性ギャップが明らかである。 明示的な命令の下でうまく機能するモデルは、同じタスク関連情報をコンテキストから取り出す必要がある場合、急激に劣化する可能性がある。 共鳴媒介および空間参照は特に困難であるが、外部VLMを用いたモデルはより堅牢性を示すが、重大な失敗を示す。 さらに、外部VLMをより強力なモデルに置き換えても、これらのギャップをなくすことはできない。 さらに,Franka Research 3ロボットアームにおいて,現実の操作下でギャップが持続し,誤った参照グラウンドと下流実行障害の両方が現れることを検証した。 これらの結果から、IRGは信頼性の高いロボットインストラクションの独特で未探索の能力として確立され、言語、知覚、推論、アクションをしっかりと統合できるVLAの必要性を強調している。

関連論文リスト

• Same Trajectory, Contradictory Rewards (ROBORMBENCH): Paraphrase Fragility in Vision Language Reward Models [31.121465332305153]
  現在のVLM報酬モデルは、しばしばこの性質に反することを示す。 この障害モードを測定するために, 2,390個の実ロボット軌道, 地中進行ラベル, 21,673個のパラフレーズを語彙, 構文, 行動ゴールの書き直しに用いたベンチマーク ROBORMBENCH を導入する。 プロプライエタリでオープンソースのVLM全体にわたって、パラフレーズによる不安定性は広く、深刻であり、より異なる書き直しの下で成長し、スケールや明示的な推論によって確実に減少しない。
  論文  参考訳（メタデータ） (2026-09-04T17:47:58Z)
• Restoring Linguistic Grounding in VLA Models via Train-Free Attention Recalibration [24.562540060971273]
  VLA(Vision-Language-Action)モデルにより、ロボットは自然言語命令から直接操作タスクを実行することができる。 言語命令がシーンに矛盾する場合でも、VLAポリシーが視覚的に妥当な動作を実行し続ける重要な障害モードを明らかにする。 Instruction-Guided Attention Recalibration (IGAR) を提案する。
  論文  参考訳（メタデータ） (2026-03-06T08:01:36Z)
• REALM: A Real-to-Sim Validated Benchmark for Generalization in Robotic Manipulation [46.970355660265284]
  VLA(Vision-Language-Action)モデルは、自然言語で記述されたタスクをロボットが理解し実行できるようにするモデルである。 重要な課題は、訓練された特定の環境や条件を超えて一般化できることです。 本稿では,VLAモデルの一般化能力を評価するための新しいシミュレーション環境とベンチマークであるREALMを提案する。
  論文  参考訳（メタデータ） (2025-12-22T16:44:23Z)
• From Intention to Execution: Probing the Generalization Boundaries of Vision-Language-Action Models [5.660635614478238]
  VLA(Vision-Language-Action)モデルは、汎用的で汎用的なロボットポリシーを作成することを約束する。 従来の模倣学習ベンチマークは言語命令の欠如のため不適当である。 言語命令,視覚,オブジェクトにまたがる10のサブカテゴリにまたがる50のシミュレーションベースのタスクの統合スイートを導入する。
  論文  参考訳（メタデータ） (2025-06-11T16:52:18Z)
• From Seeing to Doing: Bridging Reasoning and Decision for Robotic Manipulation [35.79160868966466]
  FSD(From Seeing to Doing)は空間関係推論により中間表現を生成する新しい視覚言語モデルである。 提案手法は,空間座標を視覚信号と整列する自己整合性機構と,階層的なデータパイプラインを併用する。 我々は、FSDがSimplerEnvで40.6%の成功率、実世界の8つのタスクで72%の成功率を達成したことを示し、最強のベースラインを30%上回った。
  論文  参考訳（メタデータ） (2025-05-13T13:20:46Z)
• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [69.01029651113386]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、250以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。