論文の概要: VagueBench: Benchmarking the Robustness of Embodied Agents on Ambient Context Illusions
- arxiv url: http://arxiv.org/abs/2611.03765v1
- Date: Mon, 02 Nov 2026 15:00:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 11:09:49.208646
- Title: VagueBench: Benchmarking the Robustness of Embodied Agents on Ambient Context Illusions
- Title(参考訳): VagueBench: アンビエントコンテキストIllusions上でのEmbodied Agentのロバストさのベンチマーク
- Abstract要約: 現在の評価は、危険な指示やジェイルブレイクの脆弱性に偏っている。
まず,非意味的文脈の詳細が省略された場合,エージェントが正しくタスクを実行するのに失敗する「Ambient Context Illusion」という現象を特定する。
この現象は現実世界のロボットシステムで続き、誤った決定や潜在的な安全リスクにつながる可能性がある。
- 参考スコア(独自算出の注目度): 47.937748748236636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embodied agents are increasingly deployed in open-world environments, yet current robustness evaluations remain biased toward hazardous instructions and jailbreak vulnerabilities. A more fundamental issue is largely overlooked: agents are rarely tested under semantically sufficient but contextually minimal instructions (i.e., common in real-world human communication), where auxiliary contextual cues are absent. For the first, we identify a novel phenomenon termed Ambient Context Illusion, where agents fail to execute tasks correctly when non-essential contextual details are omitted, despite unchanged task semantics. To systematically study this, we establish VagueBench, a benchmark built upon the AI2-THOR interactive simulation environment for the evaluation of context dependency in embodied agents. We systematically consider key semantic components of instructions (entities, procedures, constraints, and prior knowledge) and derive a unified taxonomy with four categories and nine subtypes to reduce auxiliary information. VagueBench contains 1,303 instruction pairs across diverse indoor environments, constructed via a human-agent co-generation framework that integrates semantic redundancy estimation, taxonomy-guided transformation, and rigorous semantic-invariance verification. Through extensive evaluation on 6 state-of-the-art embodied agents, we observe significant degradation on VagueBench in both task performance and executability (relatively -19.65% in task success rate and relatively +54.10% in empty plan rate) revealing a strong reliance on auxiliary linguistic signals rather than core task semantics. Furthermore, we demonstrate that this phenomenon persists in real-world robotic systems, where it can lead to incorrect decisions and potential safety risks.
- Abstract(参考訳): 現在の堅牢性評価は、危険な指示やジェイルブレイクの脆弱性に偏っている。
エージェントは意味的に十分だが、文脈的に最小限の命令(現実世界の人間通信では一般的である)でテストされることは稀であり、補助的な文脈的手がかりが欠落している。
まず,非意味的文脈の詳細が省略された場合にエージェントが正しくタスクを実行するのに失敗する「Ambient Context Illusion」という現象を特定する。
これを体系的に研究するために,AI2-THOR対話型シミュレーション環境上に構築されたベンチマークであるVagBenchを構築し,組込みエージェントのコンテキスト依存性の評価を行う。
命令のキーセマンティックな構成要素を体系的に検討し、補助情報を減らすために4つのカテゴリと9つのサブタイプを持つ統一された分類法を導出する。
VagueBenchには、さまざまな屋内環境にまたがる1,303の命令ペアが含まれている。
6種類の最先端の実施エージェントの広範囲な評価を通じて、タスクパフォーマンスと実行可能性の両方において、VagBenchの著しい劣化(相対的にタスク成功率19.65%、空の計画レート+54.10%)を観察し、コアタスクのセマンティクスよりも補助的な言語信号に強く依存していることを明らかにする。
さらに、この現象は現実世界のロボットシステムに持続し、誤った決定や潜在的な安全リスクにつながる可能性があることを実証する。
関連論文リスト
- On the Fragility of Self-Improving Agents: Variance, Task Order, and Underspecification [37.24852847838588]
メモリベースの自己改善エージェントは、最近の文献で非常に有望である。
しかし、これらの手法の信頼性の側面は著しく見過ごされている。
本研究では,メモリベースの2つの手法の総合的な再評価を行う。
論文 参考訳(メタデータ) (2026-08-18T17:55:07Z) - ScrambleToolBench: Agents Search Exhaustively Even When Their Own Map Points to the Next Step [74.83535434786145]
ScrambleToolBenchは,行動推論の分離を目的とした対話型端末ベンチマークである。
このベンチマークでは、エージェントがテストとエラーのインタラクションを通じて、隠されたツールの振る舞いを明らかにする必要がある。
現状の言語モデルに対する我々の評価は、初期発見が成功しても頑健な適応にはならないことを示している。
論文 参考訳(メタデータ) (2026-08-03T15:07:46Z) - Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality [25.274859169626392]
大型言語モデル (LLM) は、表面レベルのプロンプト変動に対して極めて敏感である。
我々は,13万2000種類のプロンプト変種からなるデータセットを利用して,プロンプト安定の大規模,n-gramトークンレベルのメカニスティック解析を行った。
論文 参考訳(メタデータ) (2026-06-16T02:36:11Z) - CIBER: A Comprehensive Benchmark for Security Evaluation of Code Interpreter Agents [27.35968236632966]
LLMベースのコードインタプリタエージェントは、ますます重要な状況にデプロイされている。
既存のベンチマークでは、動的コード実行、ツールインタラクション、マルチターンコンテキストから生じるセキュリティリスクをキャプチャできない。
動的アタック生成、分離されたセキュアサンドボックス、状態認識評価を組み合わせた自動ベンチマークであるCIBERを紹介する。
論文 参考訳(メタデータ) (2026-02-23T06:41:41Z) - The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。
本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。
標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
論文 参考訳(メタデータ) (2026-01-21T15:22:21Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳(メタデータ) (2023-10-14T17:10:28Z) - Exploring Robustness of Unsupervised Domain Adaptation in Semantic
Segmentation [74.05906222376608]
クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。
i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
論文 参考訳(メタデータ) (2021-05-23T01:50:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。