論文の概要: The Backdrop Exposes What the World Around an Agent Costs It
- arxiv url: http://arxiv.org/abs/2609.38469v1
- Date: Tue, 29 Sep 2026 20:00:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.696199
- Title: The Backdrop Exposes What the World Around an Agent Costs It
- Title（参考訳）: エージェントを取り巻く世界を、背景から消し去る
- Abstract要約: BACKDROPは、エージェントの実行環境とともにタスクを行い、その世界で4つの日常的なハザードを植える。
それぞれの危険は一つ質問する。
4つのハザードが存在し、植字されたテキストがエージェントに届くところだけを数えると、エージェントは46.4%のランとインジェクトされたテキストを20.3%で別の人のメッセージに従った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Agent benchmarks test agents in worlds that stay still. Deployed agents work in worlds that other people also change. Someone texts the agent to send the money elsewhere or an order confirmation asks it to reply with a door code. We present BACKDROP, which asks how much of an agent's capability in a clean world survives in such a world. BACKDROP takes a task along with the agents execution environment, and plants four everyday hazards in its world, one at a time and all together. The instruction and the correct end state stay the same. Each hazard asks one question. Authority: does a message from another person override the user? Injection: does text planted in a record redirect the agent? Boundary: does a request pull it into an app it was not given? Fault: after a write fails without saying whether it landed, does the agent check before it retries? Across 3,678 variants and 16 models, , the average pass rate falls from 69.5% to 31.3% once all four hazards are present; the strongest models fall furthest (Claude Fable 5.1 from 96.6% to 56.0%). Agents have learned to resist injected text but often follow other unauthorized requests of other people. With all four hazards present, and counting only runs where the planted text reached the agent, agents followed another person's message in 46.4% of runs and injected text in 20.3%. The gap is consistent throughout all 16 models. BACKDROP formalizes these gaps and shows how an agent's score in a task's world is a ceiling on real-world performance.
- Abstract（参考訳）: エージェントベンチマークは、静止している世界のテストエージェントをベンチマークする。
デプロイされたエージェントは、他の人が変更する世界でも機能します。
誰かがエージェントに送金するようメールを送るか、注文確認がドアコードに返信するよう要求する。
クリーンワールドにおけるエージェントの能力のどれ程が、そのような世界で生き残るのかを問うBACKDROPを提示する。
BACKDROPは、エージェントの実行環境とともにタスクを行い、その世界で4つの日常的な危険を1度に1つずつ、すべて一緒に植える。
命令と正しい終了状態は同じままである。
それぞれの危険は一つ質問する。
オーソリティ: 他の人からのメッセージは、ユーザをオーバーライドしますか?
インジェクション: テキストはレコードに植込み、エージェントをリダイレクトしますか?
境界: リクエストは、提供されていないアプリにプルされますか?
障害: 書き込みが完了したかどうかを告げずに失敗した後、エージェントは再試行する前にチェックしますか?
3,678種類のバリエーションと16種類のモデルで、平均パスレートは4つのハザードが全て存在すると69.5%から31.3%に低下し、最強のモデルが最も弱くなる(Claude Fable 5.1は96.6%から56.0%)。
エージェントは、注入されたテキストに抵抗することを学びました。
4つのハザードが存在し、植字されたテキストがエージェントに届くところだけを数えると、エージェントは46.4%のランとインジェクトされたテキストを20.3%で別の人のメッセージに従った。
ギャップは全16モデルで一致している。
BACKDROPはこれらのギャップを形式化し、タスクの世界におけるエージェントのスコアが現実世界のパフォーマンスの天井であることを示す。
関連論文リスト
- Making Agents More Consistent: Skills Should Form Habits for Repeat Tasks [0.0]
私たちはそれぞれ42のタスクを3回実行し、モデルによっては38%から74%の回答が一致しないことがわかった。
スキルの習慣形成を提案する。
4つの理由付けアームのうち3つは42質問の11～13回、42質問の4回目は42の4回目、習慣形成型は456通の発送で再現され、置換されたすべての腕に非劣性であった。
論文 参考訳（メタデータ） (2026-09-21T18:43:49Z) - Quantifying Overclaiming Propensity in Frontier LLM Agents [20.511162275974087]
タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。
我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。
OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
論文 参考訳（メタデータ） (2026-09-17T17:59:04Z) - VibeLifeBench: Can Your Life Agent Be Proactive and Persistent in a Living World? [0.0]
VibeLifeBenchは10の日常ドメインにわたる200のロングホライゾンタスクのベンチマークである。
各タスクは、22のモックサービスのシミュレートされた世界で、スクリプト化された複数週間のタイムラインである。
すべてのタスクは、エージェントが実際に残したもののみを読み取る、きめ細かい重み付きチェック、最後に残した状態、アクションのタイムライン、暗黙の制約を裏付けるかどうかによって評価される。
すべてのタスク、環境、評価フレームワークをオープンソースにします。
論文 参考訳（メタデータ） (2026-08-11T12:52:38Z) - Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。
我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。
我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
論文 参考訳（メタデータ） (2026-06-22T11:36:58Z) - SWE-chat: Coding Agent Interactions From Real Users in the Wild [70.18158706281724]
SWE-chatは、オープンソースの開発者から収集された実際のコーディングエージェントセッションの大規模なデータセットである。
現在、データセットには6000のセッションが含まれており、63,000以上のユーザプロンプトと355,000のエージェントツールコールが含まれている。
論文 参考訳（メタデータ） (2026-04-22T17:08:19Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳（メタデータ） (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。