論文の概要: ARKD: Adaptive Reinforcement Learning-Guided Bidirectional KL Divergence Distillation for Text Generation

• arxiv url: http://arxiv.org/abs/2606.29869v1
• Date: Mon, 29 Jun 2026 07:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:16.089018
• Title: ARKD: Adaptive Reinforcement Learning-Guided Bidirectional KL Divergence Distillation for Text Generation
• Title（参考訳）: ARKD: テキスト生成のための適応強化学習誘導双方向KL分散蒸留
• Abstract要約: 知識蒸留(KD)は大規模言語モデル(LLM)を圧縮する鍵となる技術である 理論的および経験的視点から分布アライメントにおける前方および後方KL分散(FKL/RKL)の相補的役割を解析した。 本稿では,教師の分散特性に基づいて,政策ネットワークがFKLとRKLに動的に重みを割り当てる,強化学習に基づく適応KL重み蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 5.7913606195390885
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge distillation (KD) is a key technique for compressing Large Language Models (LLMs), yet methods relying on a single KL objective often fail to balance primary distribution fitting with long-tail probability modeling, limiting both generation quality and generalization. To address this, we analyze the complementary roles of forward and reverse KL divergence (FKL/RKL) in distribution alignment from theoretical and empirical perspectives. We then propose a reinforcement-learning-based adaptive KL-weighted distillation framework, in which a policy network dynamically assigns weights to FKL and RKL based on teacher-student distributional characteristics, guided by immediate reward signals to achieve dual alignment on principal and long-tail modes. Extensive experiments demonstrate consistent improvements across Rouge-L and BertScore metrics, surpassing greedy heuristics by 0.4-0.6 points and outperforming other baseline methods on diverse benchmarks.
• Abstract（参考訳）: 知識蒸留(KD)はLarge Language Models (LLMs) を圧縮する鍵となる手法であるが、単一のKL目的に依存した手法は、生成品質と一般化の両面を制限し、長いテール確率モデルと一次分布の適合性のバランスをとるのに失敗することが多い。 これを解決するために、理論的および経験的視点から分布アライメントにおける前後KL分散(FKL/RKL)の相補的役割を解析する。 そこで本研究では,教師が指導する分布特性に基づいて,FKLとRKLの重み付けを動的に割り当てる,強化学習に基づく適応KL重み付き蒸留フレームワークを提案する。 大規模な実験では、ルージュ-Lとバートスコアのメトリクス間で一貫した改善が示され、グレディ・ヒューリスティックスを0.4-0.6ポイント上回り、様々なベンチマークで他のベースライン法よりも優れていた。

関連論文リスト

• Rethinking Reverse KL as Adaptive Entropy Distillation [18.957879192719762]
  教師のエントロピーを用いてトークンレベルの模倣強度を動的に校正するtextbfAdaptive Entropy Distillation (AED)を提案する。 AEDは、全体的なパフォーマンスを向上し、一般的に、教師の分散とエントロピーのアライメントを改善する。
  論文  参考訳（メタデータ） (2026-08-05T04:27:37Z)
• Density-Ratio Losses for Post-Hoc Learning to Defer [61.81110533670321]
  理想分布のレンズを用いて,ポストホック学習からデファー(L2D)までの研究を行った。 モデルと専門家のイデアルの間の密度比を通じて、deferralを定義します。 次に、ディフェラル決定はスコアを閾値付けすることで行われ、deferral rateは再トレーニングせずに調整される。
  論文  参考訳（メタデータ） (2026-05-19T08:56:23Z)
• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Diversity-Aware Reverse Kullback-Leibler Divergence for Large Language Model Distillation [6.256286464835529]
  本稿では、この勾配効果を除去し、RKLの最適化の利点を保ちつつ、非目標監視を強化するダイバーシティ対応RKL(DRKL)を提案する。 DRKLは、FKL、RKL、その他の最先端の蒸留目標を一貫して上回り、優れた性能と多様性のトレードオフを達成している。
  論文  参考訳（メタデータ） (2026-03-31T20:39:47Z)
• Reinforcement-aware Knowledge Distillation for LLM Reasoning [63.53679456364683]
  強化学習(Reinforcement Learning, RL)ポストトレーニングは、最近、大型言語モデル(LLM)の長いチェーン・オブ・プリーティングにおいて、進歩をもたらした。 既存の知識蒸留法の多くは、教師による微調整(SFT)のために設計されており、固定された教師のトレースや教師の学生であるKulback-Leibler(KL)の発散に基づく正規化に依存している。 本稿では,RLにおける選択的な模倣を行うRL-aware distillation (RLAD)を提案する。
  論文  参考訳（メタデータ） (2026-02-26T00:20:39Z)
• A Comedy of Estimators: On KL Regularization in RL Training of LLMs [81.7906270099878]
  強化学習(RL)は,大規模言語モデル(LLM)の推論性能を大幅に向上させる LLMトレーニングのRLの目的は、トレーニングされたポリシーと参照ポリシーの間の逆のKL(Kullback-Leibler)分岐である正規化項を含む。 近年の研究では、KL正則化の実施が目的の正しい勾配を与えていないことが示されており、目的と実施の相違が生じている。 いくつかの推定器構成の勾配について検討し、設計選択が勾配バイアスをどう形成するかを明らかにする。
  論文  参考訳（メタデータ） (2025-12-26T04:20:58Z)
• Biased Teacher, Balanced Student [0.0]
  Long-Tailed Knowledge Distillation (LTKD)は、クラス不均衡シナリオに適した新しいフレームワークである。 CIFAR-100-LT、TinyImageNet-LT、ImageNet-LTの実験は、LTKDが既存のKDメソッドより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2025-06-23T10:46:44Z)
• KDRL: Post-Training Reasoning LLMs via Unified Knowledge Distillation and Reinforcement Learning [72.53466291156604]
  教師の指導(KD)と自己探索(RL)を通じて推論モデルを協調的に最適化するテキスト化後学習フレームワークである textbfKDRL を提案する。 まず、GRPOとKDを統合する統一目的を定式化し、異なるKL近似、KL係数、報酬誘導KD戦略が学習後の全体的なダイナミクスと性能にどのように影響するかを体系的に検討する。
  論文  参考訳（メタデータ） (2025-06-02T19:46:41Z)
• ToDi: Token-wise Distillation via Fine-Grained Divergence Control [9.958797874295355]
  Token-wise Distillation (ToDi) は、Sigmoid-based weighting function を用いてトークンごとのフォワードKLとリバースKLを適応的に結合する新しい方法である。 ToDiは、均一またはより粒度の低い戦略を用いて、最近の蒸留ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-05-22T06:51:16Z)
• Direct Preference Knowledge Distillation for Large Language Models [73.50849692633953]
  大規模言語モデル(LLM)のためのDPKD(Direct Preference Knowledge Distillation)を提案する。 我々はLLMのKDを、暗黙の報酬と逆のKL分岐からなる最適化と目的の2段階に再構成する。 実験と理論的解析により,KDにおける暗黙の報酬と出力選好の価値と効果を証明した。
  論文  参考訳（メタデータ） (2024-06-28T09:23:40Z)
• Rethinking Kullback-Leibler Divergence in Knowledge Distillation for Large Language Models [18.870276152694245]
  Kullback-Leiber分散は、Large Language Models (LLM) の圧縮に知識蒸留 (KD) で広く使われている。 以前のアサーションとは対照的に、逆クルバック・リブラー(英語版)(RKL)の発散はモード探索であり、したがって平均シーキング前方クルバック・リブラー(英語版)(FKL)の発散よりも好ましい。 本稿では,FKLとRKLを組み合わせるために重みを適応的に割り当てる,単純で効果的な適応型Kulback-Leiber(AKL)分散法を提案する。
  論文  参考訳（メタデータ） (2024-04-03T11:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。