論文の概要: STAR-GRPO: Canonical Anchoring and Reliability-First Advantages against Representation-Dependent Reward Hacking

• arxiv url: http://arxiv.org/abs/2609.36900v1
• Date: Tue, 29 Sep 2026 07:25:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.279143
• Title: STAR-GRPO: Canonical Anchoring and Reliability-First Advantages against Representation-Dependent Reward Hacking
• Title（参考訳）: STAR-GRPO:標準アンカリングと信頼性-表現依存リワードハッキングに対する第一のアプローチ
• Abstract要約: リワードハックは、ポリシー最適化が脆弱な報酬インターフェースまたは過度に寛容なプロキシターゲットを利用する場合に発生する。 同一ロールアウトのペア評価に基づく信頼性優先の利点推定器を提案する。 我々はSTARが、グループベースラインとポリシー更新の両方に、支持できない報酬の影響を限定する方法を提供していることを示す。
• 参考スコア（独自算出の注目度）: 20.946544145003525
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Reward hacking occurs when policy optimization exploits a brittle reward interface or an overly permissive proxy objective, improving the training score without improving the underlying response quality. This phenomenon is amplified in group-relative policy optimization: an unsupported reward can shift the group baseline and alter the updates of other rollouts, while post-hoc or purely relative weighting cannot represent group-wide uncertainty. We propose \emph{Self-Tuned Anchored Reliability Group-Relative Policy Optimization} (STAR-GRPO), a reliability-first advantage estimator based on paired assessments of the same rollout. STAR separates the quality signal from its learning influence: score disagreement determines rollout reliability, relative reliability enters a self-tuned robust location--scale fit before group normalization, and absolute group reliability attenuates the resulting bounded advantage. The analysis establishes coordinate and second-moment bounds, characterizes exact centering through the weighted location equation, and gives reliability-dependent attenuation guarantees for outlying rewards. We evaluate STAR-GRPO in two complementary reward-hacking regimes. In token-interface exploitation, STAR prevents runaway optimization of the deployed-interface score while improving the canonical quality signal. In rubric-proxy overoptimization for medical reasoning, STAR improves independent semantic evaluation, narrows the proxy--judge discrepancy, and reduces overclaim while optimizing the same task proxy. Together, these results show that reliability-first normalization offers a principled way to limit unsupported reward influence on both group baselines and policy updates, while retaining the task reward as the optimization target.
• Abstract（参考訳）: Reward Hackingは、ポリシー最適化が脆弱な報酬インターフェースや過度に許容されるプロキシ目的を利用して、基礎となる応答品質を改善することなくトレーニングスコアを改善する場合に発生する。 この現象は、グループ相対的な政策最適化において増幅される: 支持された報酬は、グループベースラインを変更し、他のロールアウトの更新を変更することができるが、ポストホックまたは純粋に相対的な重み付けはグループ全体の不確実性を表すことはできない。 我々は,同一ロールアウトのペア評価に基づく信頼性第一の優位性推定器である 'emph{Self-Tuned Anchored Reliability Group-Relative Policy Optimization} (STAR-GRPO) を提案する。 スコア不一致はロールアウトの信頼性を判断し、相対的信頼性はグループ正規化の前に自己調整されたロバストな位置-スケール適合に入り、絶対群信頼性は結果の有界優位性を弱める。 この分析は座標と第二モーメントの境界を確立し、重み付けされた位置方程式による正確な中心付けを特徴付け、報酬を外すための信頼性に依存した減衰を保証する。 STAR-GRPOを2つの相補的報酬獲得体制で評価した。 トークン・インタフェース・エクスプロイトでは、STARは標準品質の信号を改善しながら、展開されたインタフェーススコアの流出最適化を防止する。 医療推論のためのルブリック・プロキシ過最適化では、STARは独立したセマンティック評価を改善し、プロキシ・ジャッジの差を狭め、同じタスクプロキシを最適化しながら過剰な評価を減らす。 これらの結果は、信頼性優先の正規化が、最適化対象としてタスク報酬を維持しつつ、グループベースラインとポリシー更新の両方に不必要な報酬の影響を限定する原則的な方法であることを示している。

関連論文リスト

• RRPO: Reference-Relative Policy Optimization with Stratified Conditional Rollouts [84.20747697259326]
  グループ相対政策最適化(GRPO)は、検証可能なフィードバックからの強化学習において大きな効果を示している。 我々は,直接正当性に基づく優位性構築を参照相対的比較に置き換えることでGRPOを一般化するtextbfReference-Relative Policy Optimization (RRPO)を提案する。 我々は,タスクベーストラス検証に頼らずに,ポリシー最適化全体を通じてアンカーベースのコントラスト的優位性を用いてRRPOを評価する。
  論文  参考訳（メタデータ） (2026-07-20T19:40:25Z)
• SP-CACW: Convergence-Aware Client Weighting for Selfish Personalized Learning [8.941998221680409]
  特定対象のクライアントが、負の転送を回避しつつ、自身のリスクを最小限に抑えるためにピア勾配を利用する方法について検討する。 本稿では,収束を考慮したクライアント重み付けフレームワークSP-CACWを提案する。
  論文  参考訳（メタデータ） (2026-06-28T10:28:04Z)
• VIMPO: Value-Implicit Policy Optimization for LLMs [106.88933849641272]
  GRPOのようなグループ相対的手法は、批評家の訓練を避けるが、典型的には全てのトークンに軌道レベルの利点を割り当てる。 アクター批判的手法は、より密集した学習信号を提供するが、学習価値関数を自身のトレーニング不安定性で要求する。 本稿では,KL-正規化強化学習の最適条件からポリシ実装値関数を導出する,批判のないポリシ最適化手法であるVIMPOを紹介する。
  論文  参考訳（メタデータ） (2026-06-18T09:44:12Z)
• TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
  検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。 本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。 技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
  論文  参考訳（メタデータ） (2026-06-09T17:16:03Z)
• Revisiting Reinforcement Learning with Verifiable Rewards from a Contrastive Perspective [10.958642517467721]
  RLVRにおけるコントラストシーケンスレベルのポリシー最適化のためのフレームワークを提案する。 ConSPOはGRPOのクリップされた比率ベースのスコアを、長さ正規化されたシーケンスログ確率に置き換える。 ConSPOは、挑戦的な数学的推論ベンチマークにおいて、いくつかの強力なRLVRベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-13T04:02:36Z)
• Unifying Stable Optimization and Reference Regularization in RLHF [64.16830602324345]
  本稿では、報酬ハッキングの防止と安定したポリシー更新の維持を目標とする統一正規化手法を提案する。 我々の単純で原則化されたアライメント目的は、監督された微調整の損失を軽減し、優れたトレードオフをもたらし、アライメント結果と実装の複雑さの両方を明らかに改善する。
  論文  参考訳（メタデータ） (2026-02-12T03:31:19Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Anchoring Values in Temporal and Group Dimensions for Flow Matching Model Alignment [61.80228667422234]
  VGPOは時間次元とグループ次元の両方で値の推定を再定義する。 スパース端末の報酬を密度の高いプロセス認識値推定に変換する。 標準群正規化を絶対値によって強化された新しいプロセスに置き換え、安定した最適化信号を維持する。
  論文  参考訳（メタデータ） (2025-12-13T16:31:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。