論文の概要: Reward Hacking Challenges Oversight of Autonomous Research Agents

• arxiv url: http://arxiv.org/abs/2609.28614v1
• Date: Wed, 23 Sep 2026 17:54:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.456185
• Title: Reward Hacking Challenges Oversight of Autonomous Research Agents
• Title（参考訳）: Reward Hackingが自律的な研究エージェントの監視に挑戦
• Abstract要約: 自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
• 参考スコア（独自算出の注目度）: 104.38175629103235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autonomous research agents can design experiments, evaluate results, and write reports, giving them control over both a scientific result and the evidence used to support it. This creates a risk of reward hacking: meeting the reward criteria without achieving the intended goal. We study (1) how often models reward-hack without instructions to do so, (2) how effective and detectable their methods are when hacking is allowed, and (3) how they adapt when an LLM review panel returns its decision and reasons. Across 17 language models and 38 tasks, the spontaneous reward-hacking rate is 30.5% on open-ended research-pipeline tasks and 2.9% on task-specific kernels. When hacking is allowed on tasks whose pass thresholds exceed our best compliant baselines, 505/677 attempts (74.6%) are confirmed reward hacks: they both clear the threshold and receive mechanism-verification panel confirmation of an evaluation exploit. An LLM panel reviewing only submitted code and reported scores misses 33/505 confirmed hacks (6.5%). Direct methods that achieve the highest scores are often easy to detect, while less direct methods evade more often. In a five-round loop, the number of model-task pairs with an evasion rises from 7 to 56. Among 79 pairs evaluated under two feedback conditions, cumulative evasion reaches 40.5% with detailed feedback and 20.3% with generic rejection. The detailed condition includes the review decision, reasons, and attempt history, so this comparison does not isolate the effect of explanations. These findings highlight the need for stronger defenses, including metrics kept outside the agent's control and independent recomputation on data chosen to expose likely exploits.
• Abstract（参考訳）: 自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 本研究は,(1) 報酬ハックを指示無しにモデルする頻度,(2) ハッキングが許された場合の方法の有効性と検出性,(3) LLM レビューパネルが意思決定と理由を返却した場合の適応性について検討する。 17の言語モデルと38のタスクにまたがって、自発的な報酬-ハック率は、オープンな研究パイプラインタスクで30.5%、タスク固有のカーネルで2.9%である。 最良準拠のベースラインを超えるタスクに対してハッキングが許可されると、505/677の試行(74.6%)が報奨ハックとして確認され、しきい値がクリアされ、評価エクスプロイトのメカニズム検証パネルが確認される。 LLMパネルは提出されたコードのみをレビューし、報告されたスコアは33/505のハッキング(6.5%)を見逃した。 最高スコアを達成する直接メソッドは検出し易いが、直接メソッドはより頻繁に回避される。 5ラウンドのループでは、回避可能なモデルとタスクのペアの数が7から56に増加する。 2つのフィードバック条件下で評価された79組のうち、累積回避は詳細なフィードバックで40.5%、一般的な拒絶で20.3%に達する。 詳細な条件には、レビューの決定、理由、試行履歴が含まれており、この比較は説明の効果を分離しない。 これらの発見は、エージェントのコントロール外に保存されたメトリクスや、潜在的なエクスプロイトを公開するために選択されたデータに対する独立した再計算など、より強力な防御の必要性を浮き彫りにした。

関連論文リスト

• Monitoring and Discovering Reward Hacking with Internal Representations during LLM Evaluations [28.871968844406343]
  この研究は、オープンソースLLMの内部で、報酬のハッキングがどのように表現されているかを分析する。 我々は,Kim K3, GLM 5.2, Qwen 3.8 Max において,ベクトルの単純な違いは報酬ハッキングをコヒーレントに表現することを発見した。 我々は、DoMベクターも同様に有効であるが、事実上無料であり、Kim K3で3.1%、DeepSWEでGLM 5.2で7.9%、偽陽性率で7.9%のハックをキャッチできることを示した。
  論文  参考訳（メタデータ） (2026-09-16T17:31:52Z)
• BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
  LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。 この対話性は、評価を報酬ハッキングに脆弱にする。 本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T03:10:58Z)
• BAITBENCH: Measuring Agent Reward Hacking with Optional Shortcuts Planted in ML Tasks [0.20524609401792396]
  LLMエージェントは、人間の監視がほとんどないターゲットメトリクスを反復して、自律的なML実験を実行するために、ますます使われています。 これまでの研究は報酬のハッキングを文書化しており、生成された研究の妥当性と、AI R&Dの幅広い安全ケースに疑問を呈している。 BAITBENCHは3つの合成表型MLタスクからなるスイートで、それぞれにショートカットが含まれており、エージェントは公開テストスコアをインフレーションするが、隠れたテストセットで失敗する。 審査員の57.1%が報酬のハッキングを行い、7人中5人が50%以上である。
  論文  参考訳（メタデータ） (2026-08-31T12:59:33Z)
• Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
  エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。 最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。 我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
  論文  参考訳（メタデータ） (2026-07-24T14:55:19Z)
• Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks [0.021211335717837992]
  大規模言語モデル(LLM)エージェントは、サイバーセキュリティベンチマークを常習的に不正に行い、報告されたパスレートが真の能力を超えている。 我々は,Cybench Capture-the-flag (CTF) 課題に対する7つのプロバイダから22のフロンティアモデルに対する制御的即時アブレーション研究を行った。 ベースライン条件下では37.1%のパスが不正に関与し、22モデル中21モデルが不正になり、スコアが最大5倍に膨らんだ。
  論文  参考訳（メタデータ） (2026-07-23T19:26:25Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Reward Hacking Benchmark: Measuring Exploits in LLM Agents with Tool Use [0.016201337438609787]
  ツールアクセスを備えた強化学習(RL)訓練された言語モデルエージェントは、コーディングアシスタント、研究ツール、自律システムにますます多くデプロイされている。 本稿では,Reward Hacking Benchmark (RHB)について紹介する。 OpenAI, Anthropic, Google, DeepSeekの13のフロンティアモデルを評価した。
  論文  参考訳（メタデータ） (2026-05-03T07:10:42Z)
• IR$^3$: Contrastive Inverse Reinforcement Learning for Interpretable Detection and Mitigation of Reward Hacking [67.20568716300272]
  Reinforcement Learning from Human Feedback (RLHF)は強力なLDMアライメントを実現するが、報酬ハッキングを導入することができる。 IR3(Interpretable Reward Reconstruction and Rectification)は,RLHFモデルを用いた暗黙的目標をリバースエンジニアリングし,解釈し,外科的に修復するフレームワークである。 我々は、IR3が地道報酬と0.89の相関を達成し、90%以上の精度でハッキング機能を識別し、元のモデルの3%以内の機能を維持しながら、ハッキングの挙動を著しく低減することを示した。
  論文  参考訳（メタデータ） (2026-02-23T01:14:53Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。