論文の概要: Advantage Scale Calibration Imbalance in Group-Relative Optimization under Low-Variance Rewards: Diagnosis and Bounded Recovery
- arxiv url: http://arxiv.org/abs/2609.19164v1
- Date: Thu, 27 Aug 2026 04:17:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 16:32:15.683286
- Title: Advantage Scale Calibration Imbalance in Group-Relative Optimization under Low-Variance Rewards: Diagnosis and Bounded Recovery
- Title（参考訳）: 低分散リワードによるグループ相対最適化におけるアドバンテージスケール校正の不均衡:診断と境界回復
- Abstract要約: 検証器スタイルのRLVRでは、グループ相対最適化は実装の詳細として有利なスケールを扱うことが多い。
そこで我々は,同じグループ内スケールディノミネータが,報酬分岐強度,プロンプトレベルバッチウェイト,および,報酬分岐が元の基準スケールで再表現されたときに誘導される有効KLキャリブレーションを同時に決定する,有利な3方向キャリブレーションインタフェースを提案する。
- 参考スコア（独自算出の注目度）: 2.7787094635105185
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In verifier-style RLVR, group-relative optimization often treats advantage scale as an implementation detail. This paper separates two low-variance cases: sub-resolution jitter that should not become a preference signal, and credible but small cardinal gaps that should be learned without distorting KL calibration. We propose an advantage-scale three-way calibration interface: the same within-group scale denominator simultaneously determines the reward-branch strength, prompt-level batch weight, and the effective KL calibration induced when the reward branch is re-expressed on the original cardinal scale. This interface explains why RLOO / Dr.GRPO can let credible small gaps become KL dominated, whereas GRPO's standard-deviation denominator can amplify tiny gaps without bound. Based on this interface, we further introduce the Reward-Resolution Protocol and MaxNorm-AC, respectively filtering sub-resolution gaps and providing bounded cardinal recovery on credible nonzero gaps. Across dense / MoE architectures and math / code reasoning, MaxNorm-AC improves over the strongest robust-scale baseline while truncating the low-variance inverse-scale tail.
- Abstract（参考訳）: 検証器スタイルのRLVRでは、グループ相対最適化は実装の詳細として有利なスケールを扱うことが多い。
本稿では,KL校正を歪ませることなく学習すべき部分分解能ジッタと,信頼性に欠けるが小さな基数ギャップの2つの低分散事例を分離する。
そこで我々は,同じグループ内スケールディノミネータが,報酬分岐強度,プロンプトレベルバッチウェイト,および,報酬分岐が元の基準スケールで再表現されたときに誘導される有効KLキャリブレーションを同時に決定する,有利な3方向キャリブレーションインタフェースを提案する。
このインターフェースは、ROO/Dr.GRPOが信頼できる小さなギャップをKLで支配できるのに対して、GRPOの標準偏差分母は境界のない小さなギャップを増幅することができる理由を説明する。
本インタフェースでは,Reward-Resolution Protocol と MaxNorm-AC を導入し,それぞれサブ解像度ギャップをフィルタリングし,信頼できない非ゼロギャップの基数回復を実現する。
密度の強い/MoEアーキテクチャと算術/コード推論によって、MaxNorm-ACは、低分散の逆スケールのテールをトラストしながら、強力な堅牢なベースラインよりも改善されている。
関連論文リスト
- Group Adaptive Clipping Policy Optimization [11.199441103932847]
検証可能な報酬を伴う強化学習のためのグループ相対的政策最適化は、すべてのロールアウトに対して、固定重要サンプリング(IS)比クリッピング境界を用いる。
GAPO(Group Adaptive Clipping Policy Optimization)は、GRPOメソッドのプラグイン修正であり、クリッピング境界をロールアウトの利点に適応させる。
GAPOは報酬形成を必要とせず、クリッピング閾値のみを適用しながら標準のPPO/GSPOサロゲートを保持する。
論文 参考訳（メタデータ） (2026-08-31T22:32:32Z) - When Correct Solutions Repeat: Rarity-Aware Credit Redistribution for GRPO [25.979415525596007]
検証可能な報酬(RLVR)を用いた強化学習
我々は、この挙動を多重性による構造レベルの信用集中として定式化する。
Cue-GRPOは補助モデル推論でこのルールをインスタンス化する。
論文 参考訳（メタデータ） (2026-08-04T11:02:26Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳（メタデータ） (2026-05-21T16:45:31Z) - Decision-Aware Quadratic ReLU Replacement for HE-Friendly Inference [2.902790406288288]
ホモモルフィック暗号化(FHE)は、加算と乗算のみをサポートする。
完全同型暗号(FHE)は加算と乗算のみをサポートする。
論文 参考訳（メタデータ） (2026-05-21T09:37:05Z) - DARC: Disagreement-Aware Alignment via Risk-Constrained Decoding [59.16244104797919]
本稿では,リスク制約付き復号法(DARC)*による分散アライメント(Disagreement-Aware Alignment)を提案する。
DARCは応答選択を、分布的に堅牢で、リスクに敏感な意思決定として捉えている。
アライメントベンチマークの実験では、DARCは競合平均品質を維持しながら、不一致と尾のリスクを低減する。
論文 参考訳（メタデータ） (2026-03-09T09:21:29Z) - Diffusion Controller: Framework, Algorithms and Parameterization [54.82539154511621]
本稿では,逆拡散サンプリングを(一般化された)線形解法マルコフ決定過程における状態のみの制御として活用する統一的な制御理論的視点を提案する。
このフレームワークでは、制御はトレーニング済みのリバースタイムのトランジションカーネルを再重み付けし、端末の目的と$f$分割コストのバランスをとる。
安定拡散v1.4の実験では、選好調整の勝利率が一貫した上昇を示し、品質効率のトレードオフを改善した。
論文 参考訳（メタデータ） (2026-03-07T01:49:59Z) - Margin and Consistency Supervision for Calibrated and Robust Vision Models [1.0152838128195467]
Margin and Consistency Supervision (MaCS)は、アーキテクチャに依存しないシンプルな正規化フレームワークである。
MACSはロジト空間分離と局所予測安定性を共同で実施する。
我々は,リプシッツ型安定性プロキシにより定式化された局所感度を低下させながら,分類マージンを増大させることにより,一般化の保証が向上することを示した。
論文 参考訳（メタデータ） (2026-03-06T01:54:28Z) - Fluid Antenna System-assisted Physical Layer Secret Key Generation [64.92952968689636]
本稿では,流体アンテナシステム(FAS)を動的無線環境に適用することにより,多元系基地局システムにおける物理層生成(PLKG)について検討する。
本研究では,送信ビームフォーミングとポート選択を統合したPLKGモデルを提案する。
本論文で導入したスライディングウィンドウベースポート選択法は,動的ポート選択により,より少ないチェーンで高いKGRを実現する。
論文 参考訳（メタデータ） (2025-09-19T03:01:29Z) - Generalized Kullback-Leibler Divergence Loss [105.66549870868971]
我々は、クルバック・リブラー(KL)の除算損失がデカップリングカルバック・リブラー(DKL)の除算損失と等価であることを証明した。
DKL損失の非結合構造により,我々は改善すべき2つの領域を特定した。
論文 参考訳（メタデータ） (2025-03-11T04:43:33Z) - On the Power of Perturbation under Sampling in Solving Extensive-Form Games [56.013335390600524]
本研究では, サンプリング対象の広義ゲームにおいて, 摂動がいかにしてFTRL(Follow-the-Regularized-Leader)アルゴリズムを改良するかを検討する。
我々は、textitPerturbed FTRLアルゴリズムの統一フレームワークを提案し、PFTRL-KLとPFTRL-RKLの2つの変種について検討する。
論文 参考訳（メタデータ） (2025-01-28T00:29:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。