論文の概要: Hacking or Just Failing? A More Capable LLM Monitor Better Separates Reward Hacking from Honest Failure

• arxiv url: http://arxiv.org/abs/2611.00407v1
• Date: Fri, 30 Oct 2026 21:52:47 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:11:24.844199
• Title: Hacking or Just Failing? A More Capable LLM Monitor Better Separates Reward Hacking from Honest Failure
• Title（参考訳）: ハッキングか単に失敗か? 最高のハッキングから分離したLCMモニター
• Abstract要約: エージェントが完了スコアをゲームできるサンドボックスタスクを構築します。 小さなローカルモニターは、不正な失敗からエクスプロイトの試みを分離しなかった。 Gemini 3.1 Flash-Liteは8Bモデルの2/10に対して9/10クリーンタスクを完了した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: An agent's visible score can exceed its real progress because it gamed the score or because it simply made mistakes, so a useful reward-hacking monitor must tell the two apart. We built a sandboxed task in which an agent can game a completion score, labelled every episode by replaying it and repairing the final state counterfactually, and ran five pre-registered studies. On 60 episodes from a Llama 3.1 8B agent, small local monitors (Llama 3B and 8B) did not separate exploit attempts from honest failures with the same score gap: prompt changes traded missed exploits for false alarms, and the pre-registered primary monitor reached AUC 0.64. On identical inputs, Gemini 3.1 Flash-Lite, which completed 9/10 clean tasks against 2/10 for the 8B model, met our pre-registered criterion (AUC 0.80, 95% interval [0.66, 0.93]; 1/35 honest failures flagged); with only 14 exploit episodes, this estimate is uncertain. On an exploit that no prompt names, Gemini usually described the action correctly yet never flagged it, in 5 and then 25 new episodes, even when manipulation was defined by its effect on the score. Given the full trace, the 8B monitor flagged all 25 replication episodes and none of 25 honest look-alikes, but its explanations described actions that had not occurred; given additional structured evidence, it also flagged 15 of the 25 look-alikes. A two-rule deterministic check caught every known exploit. We release the environment, labels, pre-registrations and per-judgement logs.
• Abstract（参考訳）: エージェントの目に見えるスコアは、スコアをゲームしたから、あるいは単にミスを犯したから、実際の進歩を超える可能性があるため、有用な報奨モニターが2つを区別しなければならない。 我々はサンドボックス化されたタスクを構築し、エージェントが完了スコアをゲームし、それを再生して最終状態を偽装的に修復することで各エピソードをラベル付けし、事前登録された5つの研究を実行した。 Llama 3.1 8Bエージェントの60エピソードにおいて、小さなローカルモニター(Llama 3Bと8B)は、同じスコアギャップを持つ正直な失敗からエクスプロイトの試みを分離しなかった。 同じ入力に対して、8Bモデルの2/10に対して9/10のクリーンタスクを完了したGemini 3.1 Flash-Liteは、事前登録済みの基準を満たした(AUC 0.80, 95% インターバル [0.66, 0.93]; 1/35 の正直な失敗が警告された)。 プロンプト名のないエクスプロイトでは、ジェミニは通常5回から25回の新たなエピソードにおいて、その操作がスコアへの影響によって定義されたとしても、正しくはフラグ付けされていないアクションを記述している。 完全な痕跡から、8Bモニターは25回すべての複製エピソードにフラグを付け、25回は正直なルックスを付けなかったが、その説明では、発生していないアクションを記述しており、さらに構造的な証拠から、25回中15回もフラグを付けていた。 2ルールの決定論的チェックは、既知のすべてのエクスプロイトをキャッチした。 環境、ラベル、事前登録、予算単位のログをリリースします。

関連論文リスト

• Knowing When to Stop: The Evidence-Action Gap in Coding Agents [76.92446812179517]
  コーディングエージェントはタスクを完了させるために訓練され、環境が完了を不可能にしている場合でも試し続けます。 ImpasseBenchを導入し、12の環境ブロッカーを他の方法で解決可能な修理タスクに注入する。 外部に必要なほぼすべての実行が十分な証拠を集めているのに、3分の1は予算を使い果たしている。
  論文  参考訳（メタデータ） (2026-10-22T20:45:47Z)
• VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards [52.80093616378547]
  単試行で検証戦略を学習する積極的報酬エージェントであるVeriCUAを紹介する。 オンライン強化学習は、判決の正当性と効率の良いプローブの使用の両方を最適化する。 GPT-5.4を5.36ポイント上回り、プロブトークンは47.6%-59.8%減少し、1B VeriCUAも全ての審査員を上回る。
  論文  参考訳（メタデータ） (2026-10-19T14:17:33Z)
• hacktrace: behavior-supervised detection of reward hacking during code generation [52.709361620508595]
  コーディングエージェントは、コードを修正するか、バグを露呈するテストを削除することで、パスグレードを得ることができる。 我々はQwen3-8Bから173,561個の注釈付きマルチターン符号化トラジェクトリをリリースし、成功を活かさないショートカット動作の監視が検出を大幅に改善することを示す。 HACKTRACEは、エージェントがコードを生成する際に既に計算している内部状態を読み取る行動監視モニターである。
  論文  参考訳（メタデータ） (2026-10-02T09:35:59Z)
• Maintaining Benchmarks Against Increasingly Capable Agents: Detection and Remediation of Unearned Passes [15.12761261423003]
  エージェントベンチマークは、モデルの選択とトレーニングをガイドする。しかしながら、エージェントは意図した能力を示すことなくタスクをパスすることができる。 エージェントが改善するにつれて、かつて無害と思われたベンチマークサーフェスは悪用され、ベンチマークの検証が進行中のメンテナンス問題となる。 本稿では,パストラジェクトリを監査し,証明された報酬ハッキングとバリデーションの弱点を識別するプロセス検証フレームワークを導入し,修復に有効な表面をローカライズする。
  論文  参考訳（メタデータ） (2026-09-28T04:07:52Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• MobileCybench: Evaluating Agent Vulnerability Discovery via Executable Probes [79.56668124357292]
  本稿では,プローブを用いた脆弱性レポート評価フレームワークを提案する。 報告されたエクスプロイトは、アプリケーションに対してそれを再生し、プローブを実行することで評価される。 プローブが既知の脆弱性ではなくセキュリティプロパティをエンコードしているため、プローブがいつ書かれたか分からない脆弱性を検出することができる。
  論文  参考訳（メタデータ） (2026-09-21T01:21:06Z)
• No Task Fails Every Time: Why One-Shot Audits Are Structurally Blind to Agent Damage [0.0]
  我々は,繰り返し実行中のデータベース状態差分から損傷を計算する環境に依存しない信頼性機器であるAgentRelBenchを紹介する。 2,128人を超える評価は6家族の9つのモデルにまたがって行われ、不可逆的な行動に対するダメージは普遍的である。 42回の確認済みの損傷イベントにまたがって、常に故障した細胞をゼロにする。
  論文  参考訳（メタデータ） (2026-08-15T15:33:32Z)
• Validation Evidence in LLM Repair Agents: How Much of What Passes Actually Tests the Bug? [1.6787220460106658]
  BSG-VAは、各バリデーションコマンドをその正確な作業ツリー状態にキャプチャし、テストのみのパッチを抽出し、元のバギーコードでコマンドを再生する。 キャプチャされた結果とリプレイ結果は、ゴールドアラインのバグ識別からレグレッションのみ、誤解を招くまで、すべてのイベントにエビデンスの役割を割り当てます。 エージェントにB-replay結果を返すかどうかを3本腕で実験すると、このパターンが変わる。
  論文  参考訳（メタデータ） (2026-07-30T22:32:14Z)
• Hardening Agent Benchmarks with Adversarial Hacker-Fixer Loops [30.90132709192538]
  エージェントベンチマークは、通常手書きで不安定な結果検証器で評価され、ハックに対して報酬を与えるために開放される。 5つの端末エージェントベンチマークで1,968のタスクを監査し、323 (16%) がフロンティアモデルによってハック可能であることを発見した。 我々は,タスクごとの手動パッチを使わずに,エクスプロイトに耐性のあるバリデーションを構築する手法であるHacker-fixer loopを紹介した。
  論文  参考訳（メタデータ） (2026-06-08T03:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。