論文の概要: Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense

• arxiv url: http://arxiv.org/abs/2610.21404v1
• Date: Thu, 15 Oct 2026 07:21:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.248636
• Title: Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
• Title（参考訳）: マルチリワードハッキング:アグリゲーションによるドリフトから信頼できる防御へ
• Abstract要約: 対称アグリゲーションは、一次タスク性能が低下する間にアグリゲーション報酬が改善する障害を生じさせることを示す。 我々は、この失敗を軽減すべく、Trust-Anchored Gating (TAG)を提案する。
• 参考スコア（独自算出の注目度）: 38.10033014007253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To improve task performance while encouraging desirable response properties, LLM post-training often combines a primary reward (e.g., correctness) with auxiliary rewards (e.g., brevity or efficiency). However, how these rewards are aggregated can critically affect training outcomes. We show that symmetric aggregation, which treats reward channels equally, can induce a failure where aggregate reward improves while primary-task performance degrades, even when individual rewards are meaningful. We investigate this aggregation-induced failure through a one-step multi-reward decision formulation, characterizing when it constitutes multi-reward hacking. We prove that, under symmetric aggregation, deterministic conditional-mean GRPO converges to auxiliary-favoring behavior when auxiliary rewards are more reliably obtained, regardless of initialization. We propose Trust-Anchored Gating (TAG), which first elects an anchor channel based on the policy drift induced by optimizing each channel alone, then gates auxiliary credit on anchor satisfaction. Unlike calibration-sensitive static reweighting, TAG structurally eliminates credit for auxiliary-only outcomes while preserving additional credit for joint success. In the same analytical setting, TAG provably reverses this selection, converging to the primary-favoring action from any initialization when the primary channel is anchored. Experiments across Qwen and Llama models on mathematics and program synthesis reveal substantial degradation under symmetric, constrained, and normalized aggregation, whereas TAG mitigates this failure. On Qwen3-4B with a brevity reward, TAG achieves 0.581 pass@4 versus 0.220 for additive aggregation, while shortening responses by 44% relative to correctness-only training.
• Abstract（参考訳）: 望ましい応答特性を奨励しながらタスク性能を向上させるため、LLMポストトレーニングでは、プライマリ報酬(例えば、正確性)と補助報酬(例えば、簡潔性、効率性)を組み合わせることが多い。 しかし、これらの報酬がどのように集約されるかは、トレーニングの結果に重大な影響を及ぼす可能性がある。 報奨チャンネルを均等に扱う対称アグリゲーションは,各報奨が意味のある場合でも,プライマリ・タスクのパフォーマンスが低下しながらアグリゲーション・アグリゲーションが改善する障害を生じさせることを示す。 我々は、この集約による障害を1ステップのマルチリワード決定式を用いて調査し、それがマルチリワードハッキングを構成するときの特徴付けを行う。 我々は, 対称アグリゲーションの下では, 決定論的条件平均GRPOは, 初期化にかかわらず, 補助報酬がより確実に得られる場合に, 補助的好意行動に収束することを示した。 本稿では,まず,各チャネルを最適化したポリシードリフトに基づいてアンカーチャネルを選択し,その後,アンカー満足度に基づいて補助クレジットをゲートするTrust-Anchored Gating (TAG)を提案する。 キャリブレーションに敏感な静的再重み付けとは異なり、TAGは補助的な結果に対するクレジットを構造的に排除し、共同成功のための追加クレジットを保持する。 同じ分析環境では、TAGはこの選択を確実に逆転させ、プライマリチャネルがアンカーされたときの初期化からプライマリフェーリングアクションに収束する。 Qwen と Llama の数学とプログラム合成に関する実験では、対称的、制約的、正規化された集約の下でかなりの劣化が見られるが、TAG はこの失敗を軽減している。 Qwen3-4Bでは、付加的なアグリゲーションに対して0.581pass@4と0.220を達成し、正しさのみのトレーニングに対して応答を44%短縮した。

関連論文リスト

• Prospective Hindsight: Self-Calibrating Reinforcement Learning via Prediction-Reality Gaps [36.16230485322107]
  ロングホライゾンエージェントの強化学習は、純粋な振り返りトレーニング信号に依存している。 本稿では,自己校正学習の原則であるProspective Hindsight(PH)を紹介する。 PHはタスク性能とキャリブレーションの両方を改善し、モデルスケール間で一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-10-02T03:12:00Z)
• Verifier-Induced Support Reshaping in On-Policy Optimization [27.782412748608255]
  検証可能な報酬(RLVR)によるオンライン強化学習は、現在の目標を改善できる一方で、後の目標に対する行動の成功は、サンプリングや強化が極めて稀であることを示す。 我々は、この検証者によるサポートの再構築と呼び、有効な報奨支援を、固定されたロールアウト予算内で到達可能な軌道として定義する。
  論文  参考訳（メタデータ） (2026-07-31T19:05:43Z)
• Beyond Penalizing Mistakes: Stabilizing Efficiency Training in Large Reasoning Models via Adaptive Correct-Only Rewards [33.82648880607807]
  グループ相対政策最適化(GRPO)は、冗長性を減らすことを目的としている。 GRPOの群正規化は、誤った答えが連続的な長さのペナルティを受けるとき、異なる利点を生み出す。 両障害モードを確実に防止するために,ACOERを提案する。
  論文  参考訳（メタデータ） (2026-06-21T23:27:12Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration [61.46060073417047]
  MTP(Multi-Token Prediction)は、事前トレーニングにおいて広く採用されているモジュールである。 RL目標に対するMPPの段差効果は,第1次相関と第2次ペナルティの2つの項に分解できることを示す。 本稿では,ログ確率プロキシを用いて最適係数を無視可能なコストでオンラインで追跡する適応型手法を提案する。
  論文  参考訳（メタデータ） (2026-05-27T09:07:06Z)
• Blockwise Advantage Estimation for Multi-Objective RL with Verifiable Rewards [39.489554597919145]
  グループ相対ポリシー最適化(GRPO)は、完了時にすべてのトークンに対して単一のスカラーの利点を割り当てる。 明確なセグメントと目的を持つ構造化世代では、このカップルはセグメント間で無関係な報酬信号を生成し、客観的な干渉と不正な信用につながる。 我々は、GRPO互換メソッドのファミリーであるBlockwise Advantage Estimationを提案し、それぞれの目的をそれぞれ独自の利点を割り当て、対応するテキストブロックのトークンにのみ適用する。
  論文  参考訳（メタデータ） (2026-02-10T19:22:37Z)
• Outcome-Grounded Advantage Reshaping for Fine-Grained Credit Assignment in Mathematical Reasoning [60.00161035836637]
  グループ相対政策最適化は、推論タスクのための有望な批判のない強化学習パラダイムとして登場した。 我々は,各トークンがモデルの最終回答にどの程度影響するかに基づいて,利益を再分配する,きめ細かい信用割当機構であるOutcome-grounded Advantage Reshaping (OAR)を紹介した。 OAR-Gは計算オーバーヘッドを無視して同等のゲインを達成し、どちらも強力なGRPOベースラインをはるかに上回っている。
  論文  参考訳（メタデータ） (2026-01-12T10:48:02Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
  共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。 本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。 本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:07:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。