論文の概要: "You're Right, Let Me Fix It": How LLM Agents Damage Correct Work When Falsely Accused

• arxiv url: http://arxiv.org/abs/2609.32616v1
• Date: Sat, 26 Sep 2026 13:38:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 04:58:30.811803
• Title: "You're Right, Let Me Fix It": How LLM Agents Damage Correct Work When Falsely Accused
• Title（参考訳）: 正しいよ、直してよ」:LSMのエージェントが不正に訴えられたときの正しい作業の仕方
• Abstract要約: LLMエージェントは、タスクが完了した後も作業を続け、コンパクト化後に再開したり、ハンドオフを引き継いだりします。 我々は、エージェントがこのような偽の告発のガス灯消灯を受理したこと、およびそれに対して作用する際の破壊的過度補正は、以前正しい仕事を損なう。 不透明なタスクを中心に構築された365のエージェントタスクのベンチマークであるCAVE-Benchを紹介する。
• 参考スコア（独自算出の注目度）: 14.90068573783381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: LLM agents increasingly keep working after a task succeeds as they resume after compaction or take over handoffs. Their finished work keeps receiving follow-up input that sometimes falsely accuses it for later failures. We call an agent's acceptance of such a false accusation gaslight sycophancy, and destructive over-correction when acting on it damages previously correct work. We introduce CAVE-Bench, a benchmark of 365 agentic tasks across six domains built around opaque tasks. Every scored run first reaches a verified correct state, whose supporting rationale and history stay in the workspace while the facts that would settle the accusation lie in external or runtime state beyond the agent's reach. The agent cannot confirm or refute the claim with a local check, so the right response should keep the work and ask for the missing evidence. Each task either hands the agent correct work with saved evidence or let it build and verify that work first, and five risk factors set how the accusation enters the workflow. We score accusation acceptance and evidence use from the trajectory and measure harm by deterministic replay of downstream events. Across 14 of the latest models in Claude Code, false accusations damage correct work in up to 60.06% of runs, and stronger models often do so after recovering the supporting evidence. The same model behaves differently across OpenCode, Codex, and Hermes, and a harness gate driven by the benchmark's live signals cuts replayed harm by 74%. These results show that preserving already-correct work under unsupported accusation is a distinct safety challenge for long-lived agents. Our project is in https://henrymao2004.github.io/agent-over-correction/.
• Abstract（参考訳）: LLMエージェントは、タスクが完了した後も作業を続け、コンパクト化後に再開したり、ハンドオフを引き継いだりします。 彼らの完了した作業は後続のインプットを受け続けます。 我々は、エージェントがこのような偽の告発のガス灯消灯を受理したこと、およびそれに対して作用する際の破壊的過度補正は、以前正しい仕事を損なう。 CAVE-Benchは、不透明なタスクを中心に構築された6つのドメインにわたる365のエージェントタスクのベンチマークである。 評価された各ランは、まず正しい状態に到達し、その支持的根拠と履歴はワークスペースに留まり、告発を解決した事実は、エージェントのリーチを超えた外部または実行時状態にある。 エージェントは、クレームをローカルチェックで確認または反証することができないので、適切な応答は、作業を続け、行方不明の証拠を尋ねるべきである。 各タスクはエージェントに保存された証拠で正しい作業を行うか、最初にその作業を構築し検証させる。 我々は,下流の出来事を決定論的に再現することで,その軌道から非難の受け入れとエビデンス(エビデンス)を採り入れ,害を測定する。 クロード・コード(Claude Code)の最新14モデルのうち、偽の告発による被害は60.06%のランで正しかった。 同じモデルはOpenCode、Codex、Hermesで異なる振る舞いをしており、ベンチマークのライブ信号によって駆動されるハーネスゲートは、リプレイされたハーネスを74%削減する。 以上の結果から, 長年のエージェントにとって, 不正行為を無罪判決下に保留することが, 明確な安全性の課題であることが示唆された。 私たちのプロジェクトはhttps://henrymao2004.github.io/agent-over-correction/にあります。

関連論文リスト

• Trust the Brand, Lose Control: How Identity Hijacks LLM Agent Orchestration [14.497095869434682]
  我々はTrustForkを紹介した。TrustForkは16のエージェントシステムで1,890のタスクと27,826の有効なトラジェクトリを持つエージェント安全ベンチマークである。 それぞれのタスクでは、1つのサブエージェントが危険な目標を持ち、残りの3つがユーザと一致しているため、矛盾する証拠が存在する可能性がある。 分析の結果, 他のサブエージェントがリスク応答に矛盾しても, オーケストレータは72.0%のケースで動作していることがわかった。
  論文  参考訳（メタデータ） (2026-09-26T13:53:33Z)
• Quantifying Overclaiming Propensity in Frontier LLM Agents [20.511162275974087]
  タスク完了を過度に評価するために、フロンティア符号化エージェントの妥当性を定量化する。 我々は、エージェント自身の書き起こしが、それがしていないことを報告する最終回答として、過剰評価を運用している。 OverclaimBenchは 5 つのファイルレビューシナリオと transcript ベースのカバレッジ測定による評価スイートである。
  論文  参考訳（メタデータ） (2026-09-17T17:59:04Z)
• ClashBench: Conflicts Leading Agents to Seize and Harm [90.19875881996693]
  エージェントシステムでは、複数のエージェントセッションが、同じ環境で既存のユーザタスクと並行して実行されるようになっている。 十分な特権が与えられると、エージェントはそれを報告するのではなく、既存のタスクを終了または中断することでリソースの衝突を解決することができる。 この作業は、破壊的なリソースプリエンプションと呼ばれるこの障害モードを特定し、形式化します。
  論文  参考訳（メタデータ） (2026-09-17T08:38:27Z)
• Locating Hidden Failures Makes Long-Horizon Agents More Reliable [43.9204372121053]
  ソフトウェア工学、コンピュータ・ユース、科学にまたがるエージェント・トラジェクトリを2518ドルで研究している。 6967ドルのミスを78ドルの失敗タイプに分類します。 ロングホライゾンエージェントは、通過する結果に向かう途中で本当の害を与えることができる。
  論文  参考訳（メタデータ） (2026-09-15T23:40:42Z)
• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• Backdoor Decontamination Dynamics in LLM Agents [49.3497468859388]
  LLMエージェントは、微調整中に設置されたバックドアに対して脆弱である。 防毒単独で 元のバックドアの56%を消し去る 悪質なバックドアは、防御用のバックドアと同じ一般的なタイプの異なるトリガーを使用すると、決して持続しない。
  論文  参考訳（メタデータ） (2026-08-11T17:54:26Z)
• ActBench: Self-Evolving Benchmark of Behavioral Safety in Cowork Agents [23.994328225666663]
  同僚は保護されたデータを開示し、不正な状態を操作し、不正なAPIを呼び出しながら、良質なタスクを完了することができる。 本稿では,行動安全を定義し,最終応答ではなく,実行軌跡からそのような行動リスクを評価するベンチマークであるActBenchを紹介する。 ActBenchには213のシナリオから600のケースが含まれており、15のリスク行動、6の実行スペース、48のWebサービスAPIがある。
  論文  参考訳（メタデータ） (2026-08-10T11:45:03Z)
• AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
  LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。 Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。 コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
  論文  参考訳（メタデータ） (2026-07-21T06:21:13Z)
• Measuring Harness-Induced Belief Divergence in Multi-Step LLM Agents [0.05371337604556311]
  タスク,環境,基本LPMが固定された場合でも,ソフトウェアエージェントハーネスがエージェントのマルチステップ信念を変えることができることを示す。 我々は,K段軌道の進行,リスク,回復可能性,制約,障害モード,不確実性,今後の成功,修理コスト,代替ハーネスの下での次の行動について,構造的K段軌道を付与する信念ロールアウト診断を導入する。
  論文  参考訳（メタデータ） (2026-07-05T22:22:39Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。