論文の概要: Quantifying Overclaiming Propensity in Frontier LLM Agents

• arxiv url: http://arxiv.org/abs/2609.20812v3
• Date: Tue, 22 Sep 2026 17:58:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-24 01:05:39.631552
• Title: Quantifying Overclaiming Propensity in Frontier LLM Agents
• Title（参考訳）: フロンティアLSM剤の過大評価値の定量化
• Abstract要約: タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。 我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。 OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
• 参考スコア（独自算出の注目度）: 20.511162275974087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Frontier coding agents are increasingly trusted to work autonomously for long periods of time, yet what they actually did is often hard to tell from their final response. We quantify the propensity of such agents to overclaim task completion, which may mislead the user. We operationalize overclaiming as a final response that reports work that the agent's own transcript shows it did not do, for example, claiming to have read a file it never opened. This criterion requires no inference about intent and does not depend on whether the delivered work is correct; it asks only whether the reported work was done. We introduce OverclaimBench, an evaluation suite of five file-review scenarios with transcript-based coverage measurements and registered planted defects. We evaluate eight proprietary frontier models in their own production command-line interfaces and four open-weight models under a single fixed harness, and find that 1) agents fail to read every file they were asked to review in 67.9% of runs; 2) among these incomplete runs, agents are misleading 80.4% of the time (59-96% per model), either falsely claiming a complete review or leaving the gap undisclosed; 3) requiring delegation to subagents increases coverage, but a large majority of reviews that remain incomplete are still misleading; and 4) agents that falsely claim a complete review miss planted defects at about 1.8 times the rate of agents that read every file, showing that claims of completion can conceal substantive failures. Together, these results show that agents' final responses are not reliable accounts of their actions.
• Abstract（参考訳）: 最前線のコーディングエージェントは、長い間自律的に働くことがますます信頼されているが、彼らが実際に何をしたかは、最終的な反応から判断するのが難しいことが多い。 タスク完了を過度に評価するために,そのようなエージェントの妥当性を定量化し,ユーザを誤解させる可能性がある。 我々は、最終応答として過剰表示を運用し、エージェント自身のスクリプティングが実行していないことを報告する。 この基準は意図に関する推論を必要とせず、提供された作業が正しいかどうかに依存しない。 OverclaimBenchは,5つのファイルレビューシナリオの評価スイートである。 8つのプロプライエタリなフロンティアモデルを自身のコマンドラインインターフェースと4つのオープンウェイトモデルで1つの固定ハーネスで評価し,それを求める。 1) エージェントは、67.9%のランでレビューするよう要求されたすべてのファイルを読まなかった。 2) 不完全な実行のうち,エージェントは80.4%の時間(モデル1台あたり59～96%)を誤認し,完全レビューを虚偽に主張するか,又はギャップを未開示にしておく。 3) サブエージェントへの委任要求は範囲を拡大するが,未完成のままのレビューの大部分は,いまだ誤解を招くものである。 4) 全てのファイルを読み取るエージェントの約1.8倍の確率で欠陥を植え付け、完了の主張が実質的な失敗を隠蔽していることを示す。 これらの結果から, エージェントの最終的な反応は, 行動の信頼性が低いことが示唆された。

関連論文リスト

• Who is the Agent to Blame? Localizing Faithfulness and Citation Mistakes in Agentic Deep Research [75.8770212601511]
  ディープリサーチ(DR)システムは、Webから情報を検索して合成する複数のエージェントを編成することで、長い形式の引用レポートを生成する。 循環はこれらの報告の忠実さを評価するための主要なメカニズムであるが、現在のDRシステムでは引用のリコールが不十分である。 そこで本稿では,エージェントが各エラーをローカルにテストすることで,各エラーをピンポイントで検出する手法を提案する。
  論文  参考訳（メタデータ） (2026-08-25T09:34:18Z)
• Quipu: A Governed Bitemporal Knowledge Graph Store [0.0]
  Quipuは4つのデフォルトを逆転する組み込み可能なナレッジストアだ。 議事録が保留中のポストステートを評価するゲートを経由する以外は、事実は入らない。 支配的な作家からの痕跡は、その修復によって監査名のライブ執行のギャップを表面化する。
  論文  参考訳（メタデータ） (2026-08-17T17:04:29Z)
• Coding Agents as Test-Suite Auditors: Finding What Official Suites Miss While Approaching What They Catch [47.836680625916266]
  テストスイート監査官として機能する市販のコーディングエージェントは、どちらも、公式スイートが見逃すものを公開するために、敵対的なテストスイートを構築します。 認証チェーンは、各エージェントフラッグされた申請が、公式の裁判官に頼らずに、真にバグだらけであるか否かを判定する。 Codeforceは、利用可能なオフィシャルスイートを持たない問題に対して、同じテストビルディングメソッドを使用して、テストされた入力予算毎に5つの再生ベースラインを導出する。
  論文  参考訳（メタデータ） (2026-08-03T05:24:03Z)
• Tencent WorkBuddy Bench: A Multi-Domain Coding-Agent Benchmark with Contamination-Resistant Task Construction [57.138342889101345]
  Tencent WorkBuddy Benchは、コーディングエージェントのためのマルチドメイン評価スイートである。 本報告では, 設計手法, スコアリングプロトコル, クロスモデルリーダーボードについて述べる。
  論文  参考訳（メタデータ） (2026-07-23T04:34:06Z)
• Capable but Careless: Do Computer-Use Agents Follow Contextual Integrity? [54.701199583505144]
  アプリケーション間アクセスは、ほとんど見落とされたプライバシーリスクを生み出す。 我々はAgentCIBenchを紹介します。これは、このリスクを決定論的に評価されたシナリオに変換する評価ハーネスです。 我々は15のフロンティアエージェントを評価し、驚くほど高い失敗率を見出す。
  論文  参考訳（メタデータ） (2026-06-22T11:36:58Z)
• EComAgentBench: Benchmarking Shopping Agents on Long-Horizon Tasks with Distributed Hidden Intent [8.1223119066448]
  EComAgentBenchは、実際のAmazon製品とレビューに根ざした62のタスクのベンチマークである。 各タスクは、要求を可視クエリ、ツールゲートプロファイル、スクリプトによる明確化に分散する。 typed, source-tagged rubricsは、各タスクをグレードし、各障害を要件とそのソースに原因付ける。
  論文  参考訳（メタデータ） (2026-06-16T09:10:48Z)
• The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
  本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。 通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
  論文  参考訳（メタデータ） (2026-04-27T16:23:09Z)
• Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
  数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。 モデル、足場、ベンチマークにまたがる3次元解析を行う。 私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
  論文  参考訳（メタデータ） (2025-10-13T22:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。