論文の概要: Distilled Reinforcement Learning for LLM Post-training

• arxiv url: http://arxiv.org/abs/2607.17247v1
• Date: Sun, 19 Jul 2026 13:32:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.411234
• Title: Distilled Reinforcement Learning for LLM Post-training
• Title（参考訳）: LLMポストトレーニングのための蒸留強化学習
• Abstract要約: 大規模言語モデル(LLM)のポストトレーニングは推論、適応、アライメントの改善に不可欠である。 既存の方法は、強化学習(RL)とオンライン蒸留(OPD)の2つのパラダイムに主に従っている。 本稿では,教師の指導をRL目標に統合し,詳細な指導を行う蒸留RL(Distilled Reinforcement Learning)を提案する。
• 参考スコア（独自算出の注目度）: 8.435213882597546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) post-training is essential for improving reasoning, adaptation, and alignment. Existing methods mainly follow two paradigms: reinforcement learning (RL) and on-policy distillation (OPD). However, RL relies on coarse-grained outcome supervision, resulting in difficult credit assignment and limited capability to acquire new knowledge. OPD, meanwhile, unconditionally matches teacher logits through KL divergence, which creates a dilemma: similar teachers provide little new knowledge, while substantially different teachers often yield ineffective guidance, largely restricting OPD to within-family distillation. We propose Distilled Reinforcement Learning (Distilled RL), which integrates teacher supervision into the RL objective to provide fine-grained guidance, selectively transfer new knowledge and avoid unconditional imitation. Distilled RL contains three components: reverse importance sampling with clipping, negative sample reset, and sequence-level geometric normalization. Through a concise and interpretable case study, we demonstrate that Distilled RL can effectively transfer previously unavailable knowledge from a teacher model to a student model. Extensive experiments across both within-family and cross-family distillation settings show that Distilled RL substantially outperforms standard RL and OPD in terms of both pass@1 and pass@k. Our code is available at https://github.com/597358816/Distilled-RL.
• Abstract（参考訳）: 大規模言語モデル(LLM)のポストトレーニングは推論、適応、アライメントの改善に不可欠である。 既存の手法は主に強化学習(RL)とオンライン蒸留(OPD)の2つのパラダイムに従っている。 しかし、RLは粗大な結果管理に依存しており、結果として信用の割り当てが難しく、新しい知識を得る能力が限られている。 類似の教師は、ほとんど新しい知識を提供していないが、実質的に異なる教師は、OPDを家庭内蒸留に大きく制限する非効果的なガイダンスを得ることが多い。 本稿では,教師の指導をRLの目的に統合し,詳細な指導を行い,新たな知識を選択的に伝達し,無条件の模倣を避ける蒸留強化学習(Distilled Reinforcement Learning, DL)を提案する。 蒸留RLは、クリッピングによる逆重要サンプリング、負のサンプルリセット、およびシーケンスレベルの幾何正規化の3つの成分を含む。 本稿では,教師モデルから生徒モデルへ,未利用の知識を効果的に伝達できることを,簡潔かつ解釈可能なケーススタディを通じて示す。 家庭内および戸内蒸留の双方にわたる広範囲な実験により,Distilled RLはpass@1とpass@kの両方で標準RLとOPDを大きく上回っていることがわかった。 私たちのコードはhttps://github.com/597358816/Distilled-RL.comで利用可能です。

関連論文リスト

• Sequential Beats Joint: On the Interplay between On-Policy Distillation and RLVR [31.617522438897236]
  単純な2段階スキームであるOPD-then-RLは、純粋PD、純粋RLVR、および論理および数理推論ベンチマークの全てのジョイントベースラインを一貫して上回ることを示す。 実用的なレシピとして、OPD検証スコアがRLに切り替える際の鍵信号であり、PDはSFTよりもRLのコールドスタートであることがわかった。
  論文  参考訳（メタデータ） (2026-09-03T17:14:27Z)
• RL-Native Distillation: Exploiting Scored Trajectories for Few-Step Image Generation [38.215412661414604]
  効率的なテキスト・ツー・イメージ生成には、強化学習(RL)ベースの報酬アライメントと数ステップの蒸留が必要である。 本稿では,REST (Reward-Enhanced Scored-Trajectory Distillation) を提案する。 私たちは、RESTが40ステップのRL教師と一致するか、または超えるCFGフリーな推論を可能にすることを示しています。
  論文  参考訳（メタデータ） (2026-08-10T07:49:05Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation [57.524909883706556]
  オンライン蒸留(OPD)は、学生のパフォーマンス向上に強い経験的利益をもたらしている。 この研究は、フレキシブルな参照モデルと報酬項の相対重みをKL正規化に対して制御する報酬スケーリング係数を導入している。 特に、同じ学生モデルにドメイン固有RLを適用して得られた異なるドメインエキスパートの知識をマージする環境では、ExOPDは生徒が教師のパフォーマンス境界を越えられるようにします。
  論文  参考訳（メタデータ） (2026-02-12T16:14:29Z)
• Reinforcement Learning Teachers of Test Time Scaling [21.551446057221185]
  LMを推論する主要なユースケースは、新しい学生を蒸留し、将来のRLイテレーションを冷静に開始する教師として機能することである。 我々は,RLの探究課題を回避するために,RLT(Reinforcement-Learned Teachers)の新たなクラスを育成する枠組みを導入する。 RLTは、各問題に対する質問と解決の両方で促され、生徒に合った詳細な説明で単に「接続する」ことを任務とする。
  論文  参考訳（メタデータ） (2025-06-10T02:53:24Z)
• AceReason-Nemotron: Advancing Math and Code Reasoning through Reinforcement Learning [50.02117478165099]
  大規模強化学習は, 強大・中小モデルの推論能力を大幅に向上させることができることを示す。 まずは算数のみのプロンプト、次にコードのみのプロンプトのトレーニングを行う。
  論文  参考訳（メタデータ） (2025-05-22T08:50:47Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• RvS: What is Essential for Offline RL via Supervised Learning? [77.91045677562802]
  近年の研究では、時間差(TD)のない教師あり学習だけでオフラインRLに極めて効果的であることが示されている。 あらゆる環境スイートにおいて、2層フィードフォワードによる可能性の最大化は競争力がある。 彼らはまた、ランダムデータに対して比較的弱い既存のRvS法の限界を探索する。
  論文  参考訳（メタデータ） (2021-12-20T18:55:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。