論文の概要: A Sign Law for Entropy Drift under Sampler Mismatch in RLVR

• arxiv url: http://arxiv.org/abs/2610.34044v1
• Date: Sun, 25 Oct 2026 04:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.524955
• Title: A Sign Law for Entropy Drift under Sampler Mismatch in RLVR
• Title（参考訳）: RLVRにおけるサンプリングミスマッチ下におけるエントロピードリフトの符号法則
• Abstract要約: 検証可能な報酬を伴う強化学習のエントロピーは、中立であるべき選択によって上下に動く。 一定の有利なシフトが、ソフトマックスポリシーのエントロピーを1次および期待で変化させることを証明した。
• 参考スコア（独自算出の注目度）: 12.905516934087757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Entropy in reinforcement learning with verifiable rewards (RLVR) moves up or down depending on choices that should be neutral, such as whether over-length responses are masked or counted as failures. We trace this to sampler mismatch, where rollouts are drawn with top-k/top-p truncation or at a temperature the learner does not apply, and prove that a constant advantage shift then changes the entropy of a softmax policy, at first order and in expectation, with a sign fixed by the sampler: positive shifts sharpen the policy under any sampler whose likelihood ratio to the policy increases with token probability, including top-k, top-p, min-p, and temperatures below one, and flatten it under flatter samplers. In group-based RLVR with token-level losses, the baseline-controlled part of this drift is set by the token-weighted net advantage, which masking and failing over-length responses can push to opposite signs; the remainder, a covariance between advantages and the sampler's sharpness gap, can feed back over long horizons. On a 2B model, the entropy slope is linear in shifts of the net advantage under truncated sampling and indistinguishable from flat under exact sampling, and token-level importance ratios leave 98% of the drift. In 100-step runs, a net-zero baseline only delays an entropy explosion that exact sampling does not show, a fixed positive shift delays it further, and a baseline weighted by the sharpness gap keeps entropy stable without changing the learner. On a 9B reasoning model over ten steps, the uncorrected rule loses held-out accuracy, whereas zeroing the net advantage or renormalizing the learner gains 8.2 and 8.8 points over it, with no held-out effect under exact sampling.
• Abstract（参考訳）: 検証可能な報酬(RLVR)による強化学習のエントロピーは、過長の応答がマスクされているか、失敗としてカウントされているかなど、中立的な選択によって上昇または下降する。 我々はこれを,トップk,トップp,ミンp,および1以下の温度を含むトークン確率で,ポリシに対する確率比が増加する任意のサンプリング器の下で,正のシフトをシャープし,フラットなサンプリング器の下で平坦化させるという,ソフトマックスポリシのエントロピーを1次および期待で変化させることを,学習者が適用しない温度で示し,一定のアドバンテージシフトが証明するサンプル器ミスマッチに追従する。 トークンレベルの損失を持つグループベースのRLVRでは、このドリフトのベースライン制御された部分は、トークン重み付けネットの利点によって設定され、これは、過長応答のマスキングとフェールが反対のサインにプッシュされ、残りのものは、利点とサンプリング者のシャープネスギャップの共分散によって、長い水平線を遡ることができる。 2Bモデルでは, エントロピー勾配は, トランキャットサンプリング下でのネット優位性のシフトに線形であり, 正確なサンプリングでは平板と区別できず, トークンレベルの重要比はドリフトの98%を残留する。 100ステップ実行では、ネットゼロベースラインは、正確なサンプリングが示さないエントロピー爆発のみを遅延し、固定された正シフトがさらに遅延し、シャープネスギャップによって重み付けられたベースラインは、学習者を変更することなくエントロピーを安定に保つ。 10ステップ以上の9B推論モデルでは、不正なルールはホールトアウト精度を損なう一方、ネットの優位性をゼロにしたり、学習者のゲイン8.2、8.8ポイントをリノベートし、正確なサンプリングではホールトアウト効果がない。

関連論文リスト

• ResOPD: Tail Residualization for Sparse On-Policy Distillation [25.123322898662565]
  オンライン蒸留は学生モデルを自己生成軌道上で訓練する。 教師の密集した分布を 長い推論の痕跡に伝達すると 通信の禁止と 記憶のボトルネックが生じる 本稿では,非バイアス付き完全語彙逆KL勾配推定を行うResOPD(On-Policy Distillation with Tail Residualization)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T02:43:39Z)
• SMOPD: Selective Token-Entropy Masking for Dirty-History Multi-Turn On-Policy Self-Distillation [0.0]
  SMOPD(Selective Masking for On-Policy Distillation)は多ターンOPSDにおける損失のみの安定化手法である。 生成した中ターン応答ごとに、SMOPDは学生エントロピーによってトークンの位置をランク付けし、クリッピングされたジェンセン・シャノン蒸留損失から最低エントロピー20%を除去する。 この設計は、粗い軌道結果よりもトークンレベルの不確実性を目標とし、パラメータを追加せず、推論時のオーバーヘッドもゼロである。
  論文  参考訳（メタデータ） (2026-07-30T08:40:30Z)
• Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent [11.327284468812948]
  負シフト勾配降下は構造的制約から逃れることを示す。 フィルタは、wil-be極で滑らかで、混合符号対応である。 有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
  論文  参考訳（メタデータ） (2026-07-24T16:42:46Z)
• Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems [7.692336118507715]
  Langevin dynamicsは、勾配がアクセス可能な場合にサンプリングするための原則化されたフレームワークを提供する。 高いばらつきに悩まされ、非log-concaveサンプリングの非漸近収束保証が欠如している。 分散還元ゼロ階Langevinサンプリング法を提案する。 ゼロ階非log-concaveサンプリングのための最初の非漸近収束保証を確立する。
  論文  参考訳（メタデータ） (2026-05-28T21:07:14Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning [60.411097231348975]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論を強化する 本稿では,正と負の応答間で類似した意味分布を分離する,正のサンプル投影Residual Reinforcement Learning (ResRL)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T03:57:44Z)
• Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning [55.2818264614932]
  RankTunerは確率エントロピーキャリブレーション信号、相対ランクインジケータを導入し、予測分布の下で接地トラストークンのランクと期待ランクを比較する。 逆インジケータはトークン単位の相対尺度として使用され、微調整の目的を再重み付けし、真に未学習のトークンを更新する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:19Z)
• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。