論文の概要: Debate Training Reduces Reward Hacking in RLAIF

• arxiv url: http://arxiv.org/abs/2608.17776v1
• Date: Tue, 18 Aug 2026 13:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.353337
• Title: Debate Training Reduces Reward Hacking in RLAIF
• Title（参考訳）: ディベートトレーニングがRLAIFのリワードハックを削減
• Abstract要約: 筆者らは,AIフィードバックベースラインからの強化学習と比較して,LLがLLMを微調整することを示す。 我々は、最終回答の正しさが検証可能な数学のタスクを研究し、報酬ハッキングのダイナミクスを測定することができる。 1) 審査員のさらなる弱体化は、より高速なハッキングにつながるが、追加の議論ラウンドを追加することで補償することができること、2) 議論のインセンティブが、引き起こされた調整を覆すこと、3) LLM の審査員を用いた RL は、検証可能な報酬の RL よりも、列車/検証報酬のギャップが小さいこと、4) 批判への学習である。
• 参考スコア（独自算出の注目度）: 16.535820317214185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We demonstrate that RL finetuning an LLM using debate, a two-player adversarial game between a generator and a critic adjudicated by a weaker LLM judge, reduces reward hacking compared to a reinforcement learning from AI feedback (RLAIF) baseline. Reward hacking is a central obstacle in RLAIF: as training progresses, the policy learns to exploit systematic errors in its AI judge, degrading task performance, a problem that worsens precisely when the judge is weaker than the policy, the setting most relevant to overseeing increasingly capable AI systems. We study mathematics tasks, where final-answer correctness is verifiable, allowing us to measure reward hacking dynamics. We train a Gemini~2.5 Flash-class policy with a frozen, weaker Gemini~2.5 Flash Lite judge, comparing a single-player RLAIF baseline against debate. While the baseline quickly hacks the judge, debate maintains judge performance throughout training, leading to a higher peak validation accuracy (45\% performance gap recovered) that persists through many RL steps. Additional experiments show that: 1) further weakening the judge leads to faster hacking, but this can be compensated by adding an additional debate round; 2) debate incentives override prompted misalignment; 3) RL using an LLM judge has a smaller train/validation reward gap than RL from verifiable rewards; 4) learning to critique to convince the judge using ground truth labels is possible but slow. Taken together, our results are a positive update on the feasibility of debate, while highlighting that balancing multi-agent training is critical: without player constraints, adversarial training risks defaulting to critic judge-hacking. We show that critique word limits (effective up to 150 words) successfully balance the game and avoid judge hacking, though this introduces a trade-off by restricting critic expressive clarity.
• Abstract（参考訳）: 筆者らは,AIフィードバック(RLAIF)ベースラインからの強化学習と比較して,ジェネレータと批評家による2プレイヤー対決ゲームであるLLMの微調整により,報酬ハッキングを低減できることを実証した。 トレーニングが進むにつれて、このポリシーはAIの判断における体系的なエラーの活用を学び、タスクのパフォーマンスを低下させます。 我々は、最終回答の正しさが検証可能な数学のタスクを研究し、報酬ハッキングのダイナミクスを測定することができる。 Gemini~2.5 Flashクラスのポリシーを凍結し、より弱いGemini~2.5 Flash Liteの裁判官でトレーニングし、シングルプレイヤーのRAIFベースラインを議論に対して比較します。 ベースラインはすぐに審査員をハックするが、議論は審査員のパフォーマンスをトレーニングを通して維持し、多くのRLステップを継続する高い検証精度(パフォーマンスギャップが回復した45\%)に繋がる。 さらなる実験は以下のとおりである。 1) 裁判官のさらなる弱体化は,より高速なハッキングにつながるが,追加の議論ラウンドを追加することで補償することができる。 2 議論のインセンティブが過度な調整を招いたこと。 3) LLM審査員を用いたRLは,検証された報酬から得られるRLよりも列車・検証報酬のギャップが小さい。 4) 根拠的真理ラベルを用いて裁判官に納得させるための批判を学ぶことは可能であるが、遅い。 また,マルチエージェントトレーニングのバランスが重要であることを強調し,選手の制約がなければ,相手のトレーニングリスクがデフォルトになり,裁判官のハッキングを批判してしまうことを強調した。 批判的単語制限(150語まで有効)がゲームのバランスを保ち、裁判官によるハッキングを避けることに成功していることを示すが、しかしながら、批判的表現的明快さを制限することでトレードオフをもたらす。

関連論文リスト

• RecurSE: Bounded Recursive Self-Evaluation for LLM Rubric Judges [48.831446371402414]
  RecurSEは、訓練可能な裁判官と同期されたポリシーコピーチェッカーをペアにして、裁判官のメタルーブリックに対する推論を監査し、スカラープロセスの報酬を提供する。 本稿では,RecurSEが医療,ペアワイド,要約,プロフェッショナルベンチマークにおいて一貫した一般化を実現していることを示す。
  論文  参考訳（メタデータ） (2026-08-25T08:35:04Z)
• Rubric Dropout: A Simple Way to Mitigate Reward Hacking in Rubric-as-Reward RL [11.857468467125505]
  トレーニング中に2つのスコアが分岐していることが分かりました。 一定のバイアスを持つ審査員は、トレーニングスコアが上昇している間に、金の曲線を一定にシフトさせる。 我々は、ニューロンのドロップアウトから借りた1行の修正であるDropoutを提案する。
  論文  参考訳（メタデータ） (2026-08-12T05:29:21Z)
• Debate Helps Weak Judges Reward Stronger Models [3.8081143468439147]
  評論は、批評家の能力が審査員の能力を超えなければならない場合に、コンサルタントの基準を判断する上で有効であることを示す。 我々のセットの2つの非対応ペアでは、議論はヌルエフェクトを生じ、批判者が書き起こしに入ると、検証率はパーセンテージポイント減少する。 これらの結果は、検証可能な領域におけるトレーニング不要なスケーラブルな監視のための、より安価なプリミティブであることを示唆している。
  論文  参考訳（メタデータ） (2026-05-26T13:02:35Z)
• Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
  LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。 BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。 LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
  論文  参考訳（メタデータ） (2026-05-24T05:24:09Z)
• Adversarial Reward Auditing for Active Detection and Mitigation of Reward Hacking [69.06218054848803]
  本稿では,報酬ハッキングを動的かつ競争的なゲームとして再認識するフレームワークであるAdrial Reward Auditing(ARA)を提案する。 まず、ハッカーポリシーは報酬モデルの脆弱性を発見し、監査人は潜伏表現からのエクスプロイトを検出することを学習する。 ARAはすべてのベースラインの中で最高のアライメントユーティリティトレードオフを実現しています。
  論文  参考訳（メタデータ） (2026-02-02T07:34:57Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• Rubrics as Rewards: Reinforcement Learning Beyond Verifiable Domains [9.917318870162365]
  Reinforcement Learning with Verifiable Rewards (RLVR) は、数学やコーディングのような明確な正当性信号を持つ複雑な推論タスクに有効であることが証明されている。 ラグビーは近年、そのような判断を捉えるために評価ベンチマークで使用されているが、オンラインのポストトレーニングの報奨信号としての可能性はまだ未定である。 本稿では,RLVRを検証可能な領域を超えて,ルーブリックフィードバックを用いて拡張するオンライン強化学習手法であるRaRを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T17:57:55Z)
• ODIN: Disentangled Reward Mitigates Hacking in RLHF [127.35607931337019]
  本稿では,人間からの強化学習に現れる課題である,応答長に基づく報酬ハッキングの課題について検討する。 LLMからの十分に整形された冗長な応答は、高いスコアを得るためにLLMや人間の評価者を騙すことがしばしばある。 提案手法は, 報酬と長さの相関をほぼ排除し, 得られた政策を有意なマージンで改善する。
  論文  参考訳（メタデータ） (2024-02-11T22:40:12Z)
• Simultaneous Double Q-learning with Conservative Advantage Learning for Actor-Critic Methods [133.85604983925282]
  保守的アドバンテージ学習(SDQ-CAL)を用いた同時二重Q-ラーニングを提案する。 提案アルゴリズムはバイアスの少ない値推定を実現し,一連の連続制御ベンチマークタスクにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T09:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。