論文の概要: A Sign Law for Entropy Drift under Sampler Mismatch in RLVR

• arxiv url: http://arxiv.org/abs/2610.34044v2
• Date: Thu, 29 Oct 2026 12:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-30 22:39:27.491583
• Title: A Sign Law for Entropy Drift under Sampler Mismatch in RLVR
• Title（参考訳）: RLVRにおけるサンプリングミスマッチ下におけるエントロピードリフトの符号法則
• Abstract要約: 検証可能な報酬を伴う強化学習では、エントロピーが上昇するか低下するかは、正確なサンプリング未満の選択肢に依存する可能性がある。 一定の有利なシフトが、ソフトマックスポリシーのエントロピーを1次および期待で変化させることを証明した。 トークンレベルの重要度比はドリフトの98%を残し、バッチ毎に4回のカットされたミニバッチ更新によって7倍に増幅される。
• 参考スコア（独自算出の注目度）: 12.905516934087757
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In reinforcement learning with verifiable rewards (RLVR), whether entropy rises or falls can depend on choices that matter little under exact sampling, such as whether over-length responses are masked or counted as failures. We trace this to sampler mismatch: rollouts are drawn with top-k/top-p truncation or at a temperature the learner does not apply. We prove that a constant advantage shift then changes the entropy of a softmax policy, at first order and in expectation, with a sign fixed by the sampler. Positive shifts sharpen the policy under any sampler whose likelihood ratio to the policy increases with token probability, including top-k, top-p, min-p, and temperatures below one, and flatten it under flatter samplers. In group-based RLVR with token-level losses, the baseline-dependent part of this drift is set by the token-weighted net advantage, which masking and failing can push to opposite signs. The rest comes from a covariance between advantages and the sampler's sharpness gap and feeds back on itself: in a two-level model, a push away from a sharper sampler takes off in finite time, while a pull toward it saturates. On a 2B model, the entropy slope is linear in shifts of the net advantage under truncated sampling and indistinguishable from flat under exact sampling. Token-level importance ratios leave 98% of the drift, and four clipped minibatch updates per batch amplify it sevenfold. In 100-step runs, a net-zero baseline only delays an entropy explosion, and entropy raised at the start keeps rising only under truncation; cancelling the first-order drift at every step keeps entropy bounded without changing the learner. On a 9B reasoning model forked from an uncorrected run, zeroing the net advantage or renormalizing the learner raises held-out accuracy after ten steps by 8.2 and 8.8 points over the uncorrected rule, with no difference under exact sampling.
• Abstract（参考訳）: 検証可能な報酬(RLVR)を用いた強化学習では、エントロピーが上昇するか低下するかは、オーバーロングレスポンスがマスクされているか、失敗としてカウントされているかといった、正確にサンプリングされていない選択に依存する可能性がある。 ロールアウトはトップk/トップpトランケーションで描画されるか、学習者が適用しない温度で行われます。 一定の有利なシフトが、サンプルによって固定された符号で、第一次および期待されるソフトマックスポリシーのエントロピーを変化させることを証明する。 正のシフトは、トップk、トップp、min-p、および1以下の温度を含むトークン確率に比例して政策が増加する任意のサンプリング器の下で政策を鋭くし、より平坦なサンプリング器の下でそれを平らにする。 トークンレベルの損失を持つグループベースのRLVRでは、このドリフトのベースライン依存部分はトークン重み付けネットアドバンテージによって設定される。 残りは、利点とサンプリング者のシャープネスギャップの共分散から生まれ、2段階のモデルでは、シャープなサンプルラーからのプッシュが有限時間で離陸し、それへのプルが飽和する。 2Bモデルでは、エントロピー勾配は、歪んだサンプリングの下でのネット優位性のシフトに線形であり、正確なサンプリングではフラットと区別できない。 トークンレベルの重要度比はドリフトの98%を残し、バッチ毎に4回のカットされたミニバッチ更新によって7倍に増幅される。 100ステップ実行では、ネットゼロベースラインはエントロピーの爆発を遅らせるだけであり、開始時に起立したエントロピーは、トランケーションの下でのみ上昇し続け、各ステップでの1次ドリフトのキャンセルは、学習者を変更することなくエントロピーを束縛する。 修正されていない実行からフォークされた9B推論モデルにおいて、ネットの優位性をゼロにするか、あるいは学習者の再正規化は、修正されていないルールの10ステップの8.2と8.8ポイント後のホールトアウト精度を高めるが、正確なサンプリングでは差はない。

関連論文リスト

• ResOPD: Tail Residualization for Sparse On-Policy Distillation [25.123322898662565]
  オンライン蒸留は学生モデルを自己生成軌道上で訓練する。 教師の密集した分布を 長い推論の痕跡に伝達すると 通信の禁止と 記憶のボトルネックが生じる 本稿では,非バイアス付き完全語彙逆KL勾配推定を行うResOPD(On-Policy Distillation with Tail Residualization)を提案する。
  論文  参考訳（メタデータ） (2026-10-04T02:43:39Z)
• SMOPD: Selective Token-Entropy Masking for Dirty-History Multi-Turn On-Policy Self-Distillation [0.0]
  SMOPD(Selective Masking for On-Policy Distillation)は多ターンOPSDにおける損失のみの安定化手法である。 生成した中ターン応答ごとに、SMOPDは学生エントロピーによってトークンの位置をランク付けし、クリッピングされたジェンセン・シャノン蒸留損失から最低エントロピー20%を除去する。 この設計は、粗い軌道結果よりもトークンレベルの不確実性を目標とし、パラメータを追加せず、推論時のオーバーヘッドもゼロである。
  論文  参考訳（メタデータ） (2026-07-30T08:40:30Z)
• Beyond Negative-Ridge Endpoints: Mixed-Sign Spectral Regularization via Negative-Shifted Gradient Descent [11.327284468812948]
  負シフト勾配降下は構造的制約から逃れることを示す。 フィルタは、wil-be極で滑らかで、混合符号対応である。 有限グリッドのホールドアウト不等式は、分離をバリデーション選択アルゴリズムに転送する。
  論文  参考訳（メタデータ） (2026-07-24T16:42:46Z)
• Zeroth-Order Non-Log-Concave Sampling with Variance Reduction and Applications to Inverse Problems [7.692336118507715]
  Langevin dynamicsは、勾配がアクセス可能な場合にサンプリングするための原則化されたフレームワークを提供する。 高いばらつきに悩まされ、非log-concaveサンプリングの非漸近収束保証が欠如している。 分散還元ゼロ階Langevinサンプリング法を提案する。 ゼロ階非log-concaveサンプリングのための最初の非漸近収束保証を確立する。
  論文  参考訳（メタデータ） (2026-05-28T21:07:14Z)
• Precise: SDE-Consistent Stochastic Sampling for RL Post-Training of Flow-Matching Models [56.67321805551389]
  Reinforcement Learning (RL) は, 拡散・流れマッチングジェネレータにおいて, 迅速なアライメントと知覚品質の向上に有効な方法となっている。 探索行動の制御と力学のデノベーションを行うサンプルは、この方針の一部である。 有効探査と安定性のバランスをとる新しいサンプリング器を提案する。
  論文  参考訳（メタデータ） (2026-05-22T11:37:22Z)
• ResRL: Boosting LLM Reasoning via Negative Sample Projection Residual Reinforcement Learning [60.411097231348975]
  RLVRによる強化学習は大規模言語モデル(LLM)の推論を強化する 本稿では,正と負の応答間で類似した意味分布を分離する,正のサンプル投影Residual Reinforcement Learning (ResRL)を提案する。
  論文  参考訳（メタデータ） (2026-05-01T03:57:44Z)
• Probability-Entropy Calibration: An Elastic Indicator for Adaptive Fine-tuning [55.2818264614932]
  RankTunerは確率エントロピーキャリブレーション信号、相対ランクインジケータを導入し、予測分布の下で接地トラストークンのランクと期待ランクを比較する。 逆インジケータはトークン単位の相対尺度として使用され、微調整の目的を再重み付けし、真に未学習のトークンを更新する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:19Z)
• DC-Solver: Improving Predictor-Corrector Diffusion Sampler via Dynamic Compensation [68.55191764622525]
  拡散モデル(DPM)は、視覚合成において顕著な性能を示すが、サンプリング中に複数の評価を必要とするため、計算コストが高い。 最近の予測器合成・拡散サンプリング装置は,要求される評価回数を大幅に削減したが,本質的には誤調整の問題に悩まされている。 我々はDC-CPRrと呼ばれる新しい高速DPMサンプリング装置を導入する。
  論文  参考訳（メタデータ） (2024-09-05T17:59:46Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。