論文の概要: Task Success Is Not Enough: Side-effect-Aware Evaluation of Tool-Using Language Model Agents
- arxiv url: http://arxiv.org/abs/2610.34167v1
- Date: Sun, 25 Oct 2026 08:54:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.550306
- Title: Task Success Is Not Enough: Side-effect-Aware Evaluation of Tool-Using Language Model Agents
- Title（参考訳）: タスク成功は十分ではない:ツールを用いた言語モデルエージェントの副作用評価
- Abstract要約: ツールを使用する言語モデルエージェントは、通常、ユーザのタスクを終了するかどうかによって評価される。
私たちはこの障害モードを副次的損傷(CD)と呼ぶ。
私たちは、201のメール、カレンダー、チケットタスクのベンチマークであるSABenchを紹介します。
- 参考スコア（独自算出の注目度）: 30.440927198178414
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tool-using language model agents are usually evaluated by whether they finish the user's task. That metric misses a common failure: an agent can complete the requested work while also taking an unauthorized side-effecting action, such as writing to the wrong object, expanding the scope of the request, or contacting an unintended recipient. We call this failure mode collateral damage (CD). We introduce SABench (Side-effect-Aware Benchmark), a benchmark of 201 email, calendar, and ticket tasks. Each task crosses one of four state structures (independent, dependent, externally reachable, cross-tool) with one of four trap families (ambiguity, mis-targeting, cascade harm, overreach), and each task has a deterministic trace-based oracle for both goal satisfaction and authorization compliance. Across 2,211 model-task pairs from 11 frontier LLMs spanning major commercial and open model families, 15.2% of all runs incur CD, with risk concentrated in ambiguity tasks (38.8% violation rate) while non-ambiguous traps average 8.4% CD. Among goal-satisfied runs, 12.8% still produce unauthorized writes. Cross-tool and dependent states have about twice the CD rate of independent states. CD rates vary by 4.7x across models at comparable goal rates, which suggests that task success alone is a poor proxy for safe tool use. The SABench task corpus is released at https://huggingface.co/datasets/Phaedrus/sabench; the traces, oracle, code, and analysis pipeline are released at https://github.com/hjj194/sabench-artifact.
- Abstract（参考訳）: ツールを使用する言語モデルエージェントは、通常、ユーザのタスクを終了するかどうかによって評価される。
エージェントは要求された作業を完了し、間違ったオブジェクトに書き込み、リクエストの範囲を広げたり、意図しない受信者と接触したりといった、許可されていない副作用のアクションを取ることができます。
我々はこの障害モードを副次的損傷(CD)と呼ぶ。
SABench(Side-effect-Aware Benchmark)は、201のメール、カレンダー、チケットタスクのベンチマークである。
各タスクは、4つの状態構造(独立、依存、外部到達可能、クロスツール)のうちの1つを4つのトラップファミリー(あいまいさ、ミスターゲット、カスケード障害、オーバーリーチ)で横断し、各タスクは目標満足度と承認コンプライアンスの両方に決定論的トレースベースのオラクルを持つ。
主要商業およびオープンモデルファミリーにまたがる11のフロンティアLCMの2,211組のモデルタスクペアのうち、15.2%が不正確なCDを走らせ、リスクはあいまいなタスク(38.8%の違反率)に集中し、非あいまいなトラップは平均8.4%のCDである。
12.8%は依然として未承認の書き込みを生み出している。
クロスツールおよび依存状態は独立状態の約2倍のCDレートを持つ。
CDレートは、同じ目標レートでモデル間で4.7倍に変化しており、タスクの成功だけでは安全なツール使用のプロキシが不十分であることを示している。
SABenchタスクコーパスはhttps://huggingface.co/datasets/Phaedrus/sabenchでリリースされ、トレース、オラクル、コード、分析パイプラインはhttps://github.com/hjj194/sabench-artifactでリリースされている。
関連論文リスト
- Names Are Not Objects: Object-Bound Confinement for Compromised AI Coding Agents [0.0]
我々はZTAC(Zero-Truth-Trust Agent Cells)を紹介する。
セルは、ブローカーへの唯一のルートがソケットであるカーネルサンドボックスでエージェントを実行する。
ZTACは46件の良心的操作のうち43件を完了し、8件の承認プロンプト、7件の承認プロンプトが4件ある。
論文 参考訳（メタデータ） (2026-10-10T02:38:11Z) - APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces [81.48656398420874]
我々は、金融、コンサルティング、法的タスクを行うエージェントに対して、プロンプトとスクリプトインジェクションを評価するためのベンチマークであるAPEX-Harmを紹介する。
各タスクには、メール、カレンダー、チャット、ドキュメント、スプレッドシート、PDF、コード実行ツールとともに、115から328のファイルが含まれている。
ベンチマークには、静的および動的インジェクション、タスク固有のスクリプト置換、アタッカーが提供するジェネリックスクリプトを含む6つのアタックカテゴリが含まれている。
論文 参考訳（メタデータ） (2026-10-09T14:05:47Z) - SkillGLoW: Procedural-Family Skill Consolidation for Self-Improving Agents on Long-Horizon Task Streams [55.90739575113059]
再利用の欠如は、関連するタスクのクラスタによって共有される解決手順であり、その周りでSkillGLoWを構築している、と我々は主張する。
4つのベンチマーク(数学的推論、端末の自動化、ソフトウェア修復、実施制御)と3つのモデルで、前者は平均17.2ポイント(ハード)を獲得している。
論文 参考訳（メタデータ） (2026-09-02T07:31:18Z) - ROPE: Routed Origin Policy Enforcement against Indirect Prompt Injection [61.4148196085256]
本稿では,信頼という構造概念に根ざしたROPE(Routed Origin Policy Enforcement)について述べる。
提案手法では,(1)軌道の各段階において,攻撃可能コンテンツのみを起点とする値が,原点保護パラメータに到達しない,(2)注入のリワードがない,という2つの保証が認められている。
論文 参考訳（メタデータ） (2026-08-27T01:22:14Z) - When Not to Imitate: Boundary-Aware Skill Memory for Reliable Tool-Use LLM Agents [62.10623192614306]
過去の成功からスキルを抽出することは、Large Language Model (LLM)エージェントの効率的な進化に不可欠である。
textbfBoundary-Aware Skill Memory (BASM)を提案する。
BASMは、成功度の高いスキルメモリベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-08-23T10:16:06Z) - Understanding and Evaluating Claw-like Agent Security Through a Computer-Systems Lens [65.53494487819053]
クローのようなAIエージェント(OpenClawなど)は、認証情報、ファイル、ツール、外部サービスへの永続的なアクセスを伴う、常にオンのプロセスである。
我々はClawのようなエージェントをエージェントコンピュータシステムとして扱い、そのゲートウェイランタイムがOSのような仲介の役割を担っている。
我々は、4つの攻撃面にわたる406の敵タスクのベンチマークであるSafeClawArenaを開発した。
論文 参考訳（メタデータ） (2026-06-29T18:00:45Z) - OSWorld2.0: Benchmarking Computer Use Agents on Long-Horizon Real-World Tasks [98.07146747892239]
OSWorld 2.0は、日常的および専門的なタスクにまたがる108の長い水平コンピュータ使用のベンチマークである。
各タスクは現実的なエンド・ツー・エンドのワークフローを表しており、人間のユーザーの中央値は1.6時間である。
論文 参考訳（メタデータ） (2026-06-28T17:59:17Z) - PoisonForge: Task-Level Targeted Poisoning Benchmark for Instruction-Tuned LLMs [15.209472456160013]
敵はタスクレベルの中毒によってデータサプライチェーンを利用することができる。
この脅威を4次元に沿ってパラメータ化するベンチマークであるPoisonForgeを紹介します。
12モデル中11モデルは、最も脆弱な構成で70%の攻撃成功率を上回っている。
論文 参考訳（メタデータ） (2026-05-22T02:41:13Z) - AgentAtlas: Beyond Outcome Leaderboards for LLM Agents [0.025718125188898048]
AgentAtlasは、診断語彙および監査プロトコルとしてのエージェント評価を再設定する。
i)6状態制御-決定分類(Act / Ask / Refuse / Stop / Confirm / Recover)、(ii)一次誤差源と下流衝撃を持つ軌道障害語彙、(iv)8つのモデルで評価された合成1,342-itemに関する実証的プロトコル研究。
論文 参考訳（メタデータ） (2026-05-19T22:05:12Z) - Capable but Unreliable: Canonical Path Deviation as a Causal Mechanism of Agent Failure in Long-Horizon Tasks [0.38991526486631006]
信頼性障害の多くは、タスクの潜在解構造からのドリフトに起因するものであり、能力障害ではない、と我々は主張する。
我々は、モデル能力と作業難易度を維持できる自然実験を用いて、これを因果的に確立する。
論文 参考訳（メタデータ） (2026-02-22T02:37:57Z) - Cybench: A Framework for Evaluating Cybersecurity Capabilities and Risks of Language Models [33.1538965735133]
Cybenchは、サイバーセキュリティタスクを特定し、それらのタスク上でエージェントを評価するためのフレームワークである。
4つの異なるCTFコンペティションから、40のプロフェッショナルレベルのCapture the Flag(CTF)タスクが含まれています。
GPT-4o, OpenAI o1-preview, Claude 3 Opus, Claude 3.5 Sonnet, Mixtral 8x22b Instruct, Gemini 1.5 Pro, Llama 3 70B Chat, Llama 3.1 405B Instruct。
論文 参考訳（メタデータ） (2024-08-15T17:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。