論文の概要: Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.00755v1
• Date: Sat, 30 May 2026 14:44:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.761437
• Title: Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning
• Title（参考訳）: 温度内部化:強化学習のための政策再加熱器としてのオン・ポリシィ自己蒸留
• Abstract要約: 温度スケールオンポリシィ自己蒸留(TS-OPSD)は、温度の探索効果をモデルパラメータに内包する軽量なポリシー再加熱法である。 TS-OPSDは、モデル自身のロジットに高温スケーリングを適用して自己学習機を構築し、その結果のスムーズな分布を学生に蒸留する。
• 参考スコア（独自算出の注目度）: 43.29500828702542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reinforcement learning from verifiable rewards improves the reasoning ability of large language models, but often suffers from entropy collapse, in which increasingly concentrated policies reduce rollout diversity and useful learning signals. Existing remedies either constrain the RL objective (e.g., entropy regularization) or adjust sampling temperature during rollout collection, but these interventions remain external to the model parameters. We propose Temperature-Scaled On-Policy Self-Distillation (TS-OPSD), a lightweight policy reheating method that internalizes the exploratory effect of temperature into model parameters. Starting from an entropy-collapsed RL checkpoint, TS-OPSD constructs a self-teacher by applying high-temperature scaling to the model's own logits, then distills the resulting smoother distribution back into the student. This policy reheating requires no external teacher, privileged data, or additional inference cost. Experiments on Qwen3-4B-Base and Qwen3-8B-Base show that policy reheating yields a stronger initialization for continued RL than both standard continued RL and rollout-level temperature reheating. Further analyses show that TS-OPSD mainly reduces output sharpness while preserving intermediate representations, top candidate sets, and reasoning capability. These results suggest that entropy restoration can serve as a simple post-collapse intervention for extending reasoning-oriented RL.
• Abstract（参考訳）: 検証可能な報酬からの強化学習は、大きな言語モデルの推論能力を向上させるが、しばしばエントロピー崩壊に悩まされる。 既存の治療法は、RL目標(例えばエントロピー正則化)を制約するか、ロールアウトコレクション中のサンプリング温度を調整するかのいずれかであるが、これらの介入はモデルパラメータの外にある。 本研究では, 温度の探索効果をモデルパラメータに内包する軽量なポリシー再加熱法であるTS-OPSDを提案する。 TS-OPSDは、エントロピー崩壊したRLチェックポイントから始まり、モデル自身のロジットに高温スケーリングを適用して自己学習機を構築し、その結果のスムーズな分布を学生に蒸留する。 このポリシーの再加熱は、外部教師、特権データ、追加の推論コストを必要としない。 Qwen3-4B-BaseとQwen3-8B-Baseの実験により、ポリシー再加熱は、標準継続RLとロールアウトレベルの温度再加熱の両方よりも、継続RLのより強い初期化をもたらすことが示された。 さらに、TS-OPSDは、中間表現、上位候補集合、推論能力を保ちながら、出力のシャープネスを主に減少させることを示した。 以上の結果から,エントロピー修復は推論指向のRLを延長するための簡単な崩壊後介入として有効であることが示唆された。

関連論文リスト

• Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling [7.887862284767784]
  LLMの温度変化が拒絶行動に与える影響について検討した。 本稿では, モデルが解凍応答を高温で保持する効率的な逐次復号法を提案する。 本研究では, 高温サンプリングを必要とするアプリケーションに対して, 断熱挙動を効率的に維持する方法を実証する。
  論文  参考訳（メタデータ） (2026-07-22T23:33:51Z)
• Value-Gradient Hypothesis of RL for LLMs [1.983259889617852]
  強化学習は事前訓練された言語モデルを大幅に改善する。 PPOやGRPOのような批判のない手法がなぜ機能するのか、いつ最大の利益をもたらすべきかは、いまだ検討されていない。
  論文  参考訳（メタデータ） (2026-05-20T19:09:05Z)
• Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control [77.8471519867791]
  実験的に、エントロピー極性はエントロピーの変化を確実に予測することを示した。 本稿では、両極性分岐を保護し、有利な再重み付けによるエントロピー制御を実装するPAPO(Polarity-Aware Policy Optimization)を提案する。
  論文  参考訳（メタデータ） (2026-05-12T08:47:05Z)
• Look Inward to Explore Outward: Learning Temperature Policy from LLM Internal States via Hierarchical RL [30.357975264905978]
  生成時のサンプリング温度の制御を学習する階層的強化学習フレームワークを提案する。 各復号ステップでは、モデルがその隠れた状態に基づいて温度を選択し、その結果の分布から次のトークンをサンプリングする。 温度とトークンのポリシーは、座標上昇スキームを用いて下流の報酬から共同で最適化される。
  論文  参考訳（メタデータ） (2026-02-13T15:42:59Z)
• Temperature as a Meta-Policy: Adaptive Temperature in LLM Reinforcement Learning [47.83947232413507]
  大規模言語モデル(LLM)における探索と搾取のトレードオフの温度制御 高温は多様だがノイズの多い出力を奨励し、低温は集中した出力を生み出すが、早めの収束を引き起こす可能性がある。 本稿では,温度制御を学習可能なメタ政治として再放送する新しいフレームワークである温度適応メタポリシー最適化(TAMPO)を提案する。
  論文  参考訳（メタデータ） (2026-02-12T09:59:58Z)
• Flexible Entropy Control in RLVR with Gradient-Preserving Perspective [19.86794452199207]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、Large Language Models(LLM)の推論能力を高める重要な手法として登場した。 本稿では, 勾配保存クリッピングの観点からRLのエントロピー制御を提案する。 エントロピーを正確に管理するための動的クリッピングしきい値を用いた新しい制御機構を提案する。
  論文  参考訳（メタデータ） (2026-02-10T13:42:12Z)
• Revisiting Entropy in Reinforcement Learning for Large Reasoning Models [54.96908589622163]
  検証可能な報酬(RLVR)を用いた強化学習で訓練した大規模言語モデルのエントロピーダイナミクスについて検討する。 以上の結果から,RLVRでトレーニングしたLDMのエントロピーに影響を及ぼす重要な要因として,非政治的更新数,トレーニングデータの多様性,最適化目標におけるクリッピング閾値が示唆された。
  論文  参考訳（メタデータ） (2025-11-08T12:50:41Z)
• Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL [56.085103402298905]
  本稿では,この2つの課題に対処する軌道エントロピー制約強化学習(TECRL)フレームワークを提案する。 このフレームワーク内では、まず報酬とエントロピーに関連する2つのQ-関数を個別に学習し、温度更新の影響を受けないクリーンで安定した値ターゲットを確保する。 我々は,3つの改良を加えて,最先端の分散型ソフトアクター批判を拡張して,現実的な非政治的アルゴリズムDSAC-Eを開発した。
  論文  参考訳（メタデータ） (2025-10-25T09:17:47Z)
• The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models [99.98293908799731]
  本稿では,LLMによる推論,すなわち政策エントロピーの崩壊において,RLのスケーリングの大きな障害を克服することを目的としている。 実際には、エントロピーHと下流性能Rの間の変換方程式R=-a*eH+bを確立する。 Clip-Cov と KL-Cov という2つの単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。