論文の概要: ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding
- arxiv url: http://arxiv.org/abs/2610.08662v1
- Date: Tue, 06 Oct 2026 16:46:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:30.127679
- Title: ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding
- Title（参考訳）: ParanoiaEval: エージェントコーディングにおける不要な防御作業のベンチマーク
- Abstract要約: コーディングエージェントにおけるリスク処理能力の統一評価のための最初のベンチマークであるParanoiaEvalを紹介する。
ParanoiaEvalは、ソフトウェアエンジニアリングのリスク管理において、よく確立されたAvoidance-Transfer-Mitigation-Acceptanceフレームワークに基づいて、コーディングエージェント設定のための4つの基本的な処理を運用している。
リスク処理違反とエビデンス応答性に専用の指標を導入し, 信頼性評価にヒト校正されたエージェント・ジャッジを用いた。
- 参考スコア（独自算出の注目度）: 6.099731371495342
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As coding agents increasingly undertake real-world work autonomously, judging whether their risk treatments are warranted has become important. Existing work evaluates related agent behaviors from separate perspectives, but lacks a systematic framework for unifying these behaviors. To bridge this gap, we introduce ParanoiaEval, the first benchmark for unified evaluation of risk-treatment capabilities in coding agents. Grounded in the well-established Avoidance-Transfer-Mitigation-Acceptance framework in software engineering risk management, ParanoiaEval operationalizes its 4 fundamental treatments for coding-agent settings and contains 200 evidence-controlled repository-level task pairs, each differing only in treatment-defining evidence. We further introduce dedicated metrics for risk-treatment violations and evidence responsiveness, using a human-calibrated agentic judge for reliable evaluation. Large-scale experiments on 8 representative models and a post-hoc human study reveal that (I) unnecessary risk treatment occurs in 11.2%-58.7% of runs despite explicit evidence, with substantial variation across agent configurations; (II) stronger task capability does not ensure more appropriate risk treatment, while treatment violations substantially harm developers' experience, establishing risk treatment as an independent capability dimension; and (III) agents exhibit systematic patterns consistent with established risk-management findings, suggesting that knowledge from human practice can guide the diagnosis and improvement of this capability.
- Abstract（参考訳）: プログラミングエージェントが現実の仕事を自律的に行うようになるにつれ、彼らのリスク治療が保証されているかどうかを判断することが重要になっている。
既存の作業は、関連するエージェントの振る舞いを別の視点から評価するが、これらの振る舞いを統合するための体系的な枠組みは欠如している。
このギャップを埋めるために、コーディングエージェントにおけるリスク処理能力の統一評価のための最初のベンチマークであるParanoiaEvalを紹介する。
ParanoiaEvalは、ソフトウェアエンジニアリングのリスク管理において、よく確立されたAvoidance-Transfer-Mitigation-Acceptanceフレームワークに基づいて、コーディングエージェント設定のための4つの基本的な処理を運用し、200のエビデンス制御リポジトリレベルのタスクペアを含む。
また, リスク処理違反と証拠応答性に関する専用指標を, 信頼性評価のためにヒト校正されたエージェント・ジャッジを用いて導入する。
8つの代表モデルの大規模な実験とポストホックヒト研究により、(I)不必要なリスク治療は、(I)明示的な証拠に拘わらず、エージェント構成のかなりの変化にもかかわらず、実行中の11.2%-58.7%で発生し、(II)より強力なタスク能力はより適切なリスク治療を保証せず、(II)治療違反は開発者の経験を著しく損なう、(III)リスク処理を独立した能力の次元として確立し、(III)エージェントは、確立されたリスク管理結果と整合した体系的なパターンを示し、人間の実践の知識がこの能力の診断と改善を導くことを示唆している。
関連論文リスト
- SEABench: Benchmarking Endogenous Misalignment In Self-Evolving Agents [49.54988737892722]
自己進化型LDMエージェントは、ハーネスを変更することで、デプロイ後に改善する能力で有名になった。
SEABenchは、エージェントの自己進化から生じる内因性不整合を研究するためのベンチマークである。
自己進化はタスク完了率を高めるが、安全上の失敗の犠牲になることが多い。
論文 参考訳（メタデータ） (2026-09-28T16:46:25Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - RADAR: A Risk-Aware Dynamic Multi-Agent Framework for LLM Safety Evaluation via Role-Specialized Collaboration [81.38705556267917]
大規模言語モデル(LLM)の既存の安全性評価手法は、固有の制約に悩まされている。
リスク概念空間を再構築する理論的枠組みを導入する。
マルチエージェント協調評価フレームワークRADARを提案する。
論文 参考訳（メタデータ） (2025-09-28T09:35:32Z) - Enabling risk-aware Reinforcement Learning for medical interventions
through uncertainty decomposition [9.208828373290487]
複雑な制御と意思決定の問題に対処するためのツールとして強化学習(RL)が登場している。
エージェントが学習した明らかに最適なポリシーと、実際の展開の間のギャップを埋めることは、しばしば困難である。
本稿では,各不確実性のネット効果を分解して不確かさを再現するために,分布的アプローチ (UA-DQN) を再キャストする方法を提案する。
論文 参考訳（メタデータ） (2021-09-16T09:36:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。