論文の概要: Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective

• arxiv url: http://arxiv.org/abs/2509.22921v1
• Date: Fri, 26 Sep 2025 20:47:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.9379
• Title: Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
• Title（参考訳）: 大規模言語モデル蒸留の再考:マルコフ決定過程の制約
• Abstract要約: 本稿では, 大規模言語モデル (LLM) の蒸留に制約付き強化学習問題として定式化することによって, 新たなアプローチを導入する。 本稿では,教師モデルからの逸脱を一定の閾値以下に抑えながら,タスク固有の報酬を最大化する最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 13.582247024726156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a novel approach to large language model (LLM) distillation by formulating it as a constrained reinforcement learning problem. While recent work has begun exploring the integration of task-specific rewards into distillation processes, existing methods typically rely on ad-hoc reward weighting. We propose a principled optimization framework that maximizes task-specific rewards while constraining the divergence from the teacher model to remain below a specified threshold. Our approach adapts constrained state augmented reinforcement learning to the distillation setting, introducing a modified reward function that maintains theoretical guarantees of constraint satisfaction without requiring state augmentation or teacher model access during deployment and without the computational overhead of the dual Lagrangian methods. Through extensive experiments on mathematical reasoning tasks, we demonstrate that our method achieves better constraint satisfaction rates and better reasoning compared to the soft Lagrangian relaxation baselines while maintaining competitive task performance. Our framework provides a theoretically grounded and practically efficient solution for reward-aware distillation in resource-constrained settings.
• Abstract（参考訳）: 本稿では, 大規模言語モデル (LLM) の蒸留に制約付き強化学習問題として定式化することによって, 新たなアプローチを導入する。 近年の研究では、タスク固有の報酬を蒸留プロセスに統合する研究が始まっているが、既存の手法は一般にアドホックな報酬重み付けに依存している。 本稿では,教師モデルからの逸脱を一定の閾値以下に抑えながら,タスク固有の報酬を最大化する最適化フレームワークを提案する。 提案手法では,2つのラグランジアン方式の計算オーバーヘッドを伴わずに,状態拡張や教師モデルアクセスを必要とせず,制約満足度を理論的に保証する改良された報酬関数を導入する。 数学推論タスクに関する広範な実験を通じて,本手法は,競争力のあるタスク性能を維持しつつ,ソフトなラグランジアン緩和ベースラインと比較して,制約満足度と推論性の向上を実現していることを示す。 本フレームワークは,資源制約条件下での報酬意識蒸留のための理論的に基礎的かつ実用的なソリューションを提供する。

関連論文リスト

• DiffusionOPD: A Unified Perspective of On-Policy Distillation in Diffusion Models [55.01951088768769]
  DiffusionOPDはオンライン政策蒸留(OPD)に基づく拡散モデルのための新しいマルチタスクトレーニングパラダイムである 本研究では,DiffusionOPDがトレーニング効率と最終性能において,マルチリワードRLとカスケードRLのベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-14T16:49:09Z)
• Constraint-Aware Flow Matching: Decision Aligned End-to-End Training for Constrained Sampling [45.70806419699897]
  深い生成モデルは、幅広いアプリケーションにまたがって最先端のパフォーマンスを提供する。 既存のアプローチでは、サンプルの品質を維持しながら厳格な制約満足度を強制することができない。 本稿では,制約予測をトレーニング対象に明示的に組み込む新しいエンドツーエンドフレームワークであるConstraint-Aware Flow Matchingを提案する。
  論文  参考訳（メタデータ） (2026-05-12T21:07:13Z)
• Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion [84.20493238687187]
  単純な模倣を超えて、より深い概念的理解を具現化する新しい枠組みを導入する。 underlinetextitFirst, to address pattern memorization, Explanatory Inversion (EI) generated target explanatory probes' underlinetextitSecondは、一般化を改善するために、Explainatory GRPO (texttEXGRPO) は、新しいダイアログ構造ユーティリティーボーナスを用いた強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2026-02-26T23:01:46Z)
• On-Policy Context Distillation for Language Models [92.82835176360864]
  本稿では, オンライン蒸留とコンテキスト蒸留を橋渡しするフレームワークである, オン・ポリティ・コンテキスト蒸留(OPCD)を提案する。 実験的知識蒸留とシステム急速蒸留の2つの重要な応用におけるOPCDの有効性を実証する。
  論文  参考訳（メタデータ） (2026-02-12T18:58:28Z)
• A Task-Centric Theory for Iterative Self-Improvement with Easy-to-Hard Curricula [16.2171923772074]
  繰り返し自己改善は、報酬検証された出力に対する自己回帰型大規模言語モデル(LLM)を微調整する。 我々は、各ラウンドの自己改善を最大限の微調整としてモデル化することで、この目標に向かって前進する。 我々の分析では、より良いモデルがより多くのデータを受け取り、持続的な自己改善をサポートする明示的なフィードバックループが明らかになっている。
  論文  参考訳（メタデータ） (2026-02-10T17:36:41Z)
• Euphonium: Steering Video Flow Matching via Process Reward Gradient Guided Stochastic Dynamics [49.242224984144904]
  本稿では,プロセス報酬勾配誘導ダイナミクスによる生成を支援する新しいフレームワークであるEuphoniumを提案する。 我々の重要な洞察は、プロセス・リワード・モデルの勾配を明示的に組み込んだ理論的に原理化されたアルゴリズムとしてサンプリング・プロセスを定式化することである。 我々は,誘導信号をフローネットワークに内部化する蒸留目標を導出し,報奨モデルへの推論時間依存性を排除した。
  論文  参考訳（メタデータ） (2026-02-04T08:59:57Z)
• ReDiF: Reinforced Distillation for Few Step Diffusion [21.686373820429736]
  蒸留は、より小さいサイズまたは少ないステップのモデルを作成することにより、拡散モデルにおける遅いサンプリング問題に対処する。 拡散モデルのための強化学習に基づく蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-28T06:27:24Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• Enhancing Reasoning Capabilities in SLMs with Reward Guided Dataset Distillation [0.0]
  本稿では,報酬誘導型データセット蒸留フレームワークAdvDistillを提案する。 我々は,教師からの複数の世代(応答)を各プロンプトに利用し,ルールベースの検証に基づいて報酬を割り当てる。 これらの様々な、通常は分散された報酬は、学生モデルを訓練する際の重みとなる。
  論文  参考訳（メタデータ） (2025-06-25T20:07:47Z)
• Conditioning Diffusions Using Malliavin Calculus [18.62300657866048]
  生成的モデリングと最適制御において、中央の計算タスクは、与えられた端末時間報酬を最大化するために参照拡散プロセスを変更することである。 本稿では,Tweedieスコア公式の非線形微分方程式への一般化を中心に,Malliavin計算に基づく新しい枠組みを導入する。 これにより、拡散ブリッジや、すでに訓練済みの拡散モデルに条件付き制御を追加するような、幅広いアプリケーションを扱うことができます。
  論文  参考訳（メタデータ） (2025-04-04T14:10:21Z)
• A Simple Approach to Constraint-Aware Imitation Learning with Application to Autonomous Racing [3.324196481791132]
  模倣学習(IL)に安全性を組み込むための簡単なアプローチを提案する。 我々は、フルステートとイメージの両方のフィードバックで、自律的なレースタスクに対する我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T18:00:16Z)
• RIZE: Regularized Imitation Learning via Distributional Reinforcement Learning [0.3222802562733786]
  固定された報酬構造の剛性と暗黙的な報酬規則化の柔軟性を緩和する新しい逆強化学習(IRL)法を提案する。 本手法は,最大エントロピーIRLフレームワーク上に構築され,学習中に動的に進化する適応目標を持つ2乗時間差正規化器を備える。
  論文  参考訳（メタデータ） (2025-02-27T13:47:29Z)
• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• Semantically Aligned Task Decomposition in Multi-Agent Reinforcement Learning [56.26889258704261]
  我々は,MARL(SAMA)における意味的アライズされたタスク分解という,新しい「不整合」意思決定手法を提案する。 SAMAは、潜在的な目標を示唆し、適切な目標分解とサブゴールアロケーションを提供するとともに、自己回帰に基づくリプランニングを提供する、チェーン・オブ・シントによる事前訓練された言語モデルを促進する。 SAMAは, 最先端のASG法と比較して, 試料効率に有意な優位性を示す。
  論文  参考訳（メタデータ） (2023-05-18T10:37:54Z)
• When Demonstrations Meet Generative World Models: A Maximum Likelihood Framework for Offline Inverse Reinforcement Learning [62.00672284480755]
  本稿では, 専門家エージェントから, 一定の有限個の実演において観測された動作を過小評価する報酬と環境力学の構造を復元することを目的とする。 タスクを実行するための正確な専門知識モデルは、臨床的意思決定や自律運転のような安全に敏感な応用に応用できる。
  論文  参考訳（メタデータ） (2023-02-15T04:14:20Z)
• State Augmented Constrained Reinforcement Learning: Overcoming the Limitations of Learning with Rewards [88.30521204048551]
  制約付き強化学習の一般的な定式化には、与えられた閾値に個別に蓄積しなければならない複数の報酬が含まれる。 ここでは,任意の重み付けされた報酬の線形結合によって,所望の最適政策を誘導できない簡単な例を示す。 この研究は、ラグランジュ乗算器で状態を増大させ、原始双対法を再解釈することで、この欠点に対処する。
  論文  参考訳（メタデータ） (2021-02-23T21:07:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。