Fugu-MT 論文翻訳(概要): Reasoning Compression with Mixed-Policy Distillation

論文の概要: Reasoning Compression with Mixed-Policy Distillation

arxiv url: http://arxiv.org/abs/2605.08776v1
Date: Sat, 09 May 2026 08:04:47 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:49.880128
Title: Reasoning Compression with Mixed-Policy Distillation
Title（参考訳）: 混合多価蒸留による共振圧縮
Abstract要約: 推論中心の大規模言語モデルは、しばしば過剰なトークンの使用と推論時復号コストを発生させる。我々は,大規模教師から小学生に簡潔な推論行動を伝達する推論圧縮フレームワークであるMixed-Policy Distillation (MPD)を提案する。 MPDはトークンの使用量を最大27.1%削減し、複数の推論ベンチマークのパフォーマンスを改善している。
参考スコア（独自算出の注目度）: 20.7258653384411
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Reasoning-centric large language models (LLMs) achieve strong performance by generating intermediate reasoning trajectories, but often incur excessive token usage and high inference-time decoding cost. We observe that, when solving the same problems, larger reasoning models can often produce more concise traces, whereas smaller reasoning models tend to generate longer and more redundant trajectories. This is especially problematic in real-world deployment, where memory, latency, and serving-cost constraints often favor smaller models. Our observations suggest that reasoning compression can be transferred from large models to small ones rather than enforced through explicit length constraints. Based on this insight, we propose Mixed-Policy Distillation (MPD), a reasoning compression framework that transfers concise reasoning behavior from a larger-sized teacher to a smaller student by distilling teacher-compressed student trajectories. Unlike on-policy distillation, which aligns the student with teacher distributions over verbose student trajectories, or off-policy distillation, which relies on teacher-generated trajectories and may suffer from distribution mismatch, MPD combines the strengths of both. Given a student-sampled trajectory, the teacher rewrites it into a more concise reasoning trace, and the student is trained via KL-based alignment on the compressed trajectory. This preserves student-policy exploration while injecting teacher-guided compression. Experiments on Qwen3-1.7B show that MPD reduces token usage by up to 27.1% while improving performance across multiple reasoning benchmarks, demonstrating an effective approach to efficient small-model reasoning.
Abstract（参考訳）: 推論中心の大規模言語モデル(LLM)は、中間的推論軌跡を生成することで高い性能を達成するが、しばしば過剰なトークンの使用と高い推論時間復号コストを発生させる。同じ問題を解くとき、より大きな推論モデルはより簡潔なトレースを生成することが多いが、より小さな推論モデルはより長く、より冗長な軌跡を生成する傾向がある。メモリ、レイテンシ、サービスコストの制約がより小さなモデルを好む場合、これは現実のデプロイメントにおいて特に問題となる。この結果から, 推理圧縮は, 明示的な長さ制約を通さずに, 大型モデルから小型モデルへの移行が可能であることが示唆された。この知見に基づいて,教師が圧縮した学生軌跡を蒸留することにより,より大規模な教師から小学生に簡潔な推論行動を伝達する推論圧縮フレームワークであるMixed-Policy Distillation (MPD)を提案する。生徒を冗長な学生軌跡よりも教師の分布と整合させるオンライン蒸留や、教師が生み出した軌跡に依存して分布ミスマッチに苦しむ非政治蒸留とは異なり、MPDは両方の長所を組み合わせている。生徒がサンプリングした軌道が与えられた場合、教師はそれをより簡潔な推論トレースに書き直し、圧縮された軌道上のKLベースのアライメントによって学生は訓練される。これは教師が指導した圧縮を注入しながら、学生政治の探究を保っている。 Qwen3-1.7Bの実験では、MPDはトークンの使用量を最大27.1%削減し、複数の推論ベンチマークのパフォーマンスを改善し、より効率的な小モデル推論への効果的なアプローチを示す。

関連論文リスト

SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning [54.402550664505576]
オンライン蒸留(OPD)は、より強力な教師モデルから短文の学生に推論能力を伝達する有望な方法を提供する。長文推論モデル SU-01 から短文学習者モデルへの証明推論能力の移譲により,この設定について検討する。 Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4を含む同族および異族の両方の実験は、数学的推論において一貫した利得を示している。
論文参考訳（メタデータ） (2026-08-14T12:57:02Z)
Contrastive On-Policy Distillation [36.47487086937924]
対照的なオンライン蒸留フレームワークである COPD を提案する。 COPDは生徒モデルに直接、より簡潔で効率的な推論戦略を学ぶよう促す。
論文参考訳（メタデータ） (2026-07-21T12:35:04Z)
DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文参考訳（メタデータ） (2026-07-02T17:58:29Z)
DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
論文参考訳（メタデータ） (2026-05-15T02:04:12Z)
Structural Rationale Distillation via Reasoning Space Compression [34.91106623292321]
推論パス圧縮(Reasoning Path Compression)は、教師が再利用可能な高レベル推論パスのコンパクトで動的に維持されたバンクに従うことを制約する。各トレーニング質問に対して、D-RPCは教師が従うべき最も関連性の高いパスと条件を検索し、類似した問題に一貫性があり、異なる問題タイプをカバーするのに十分な多様な合理性を生み出す。
論文参考訳（メタデータ） (2026-05-08T02:15:52Z)
Learning from Partial Chain-of-Thought via Truncated-Reasoning Self-Distillation [15.338493974763471]
本稿では,部分的推論トレースから正しい予測を生成するための軽量なポストトレーニング手法であるTrncated-Reasoning Self-Distillation(TRSD)を紹介する。 TRSDは, 様々な推論モデルに適用した場合, 精度のトレードオフをはるかに低減し, 絡み合った推論に対するロバスト性の向上を実証する。
論文参考訳（メタデータ） (2026-02-27T06:08:22Z)
ConPress: Learning Efficient Reasoning from Multi-Question Contextual Pressure [6.494457510860719]
自己圧縮(Self-Compression)と呼ばれる再現可能な推論時間現象を同定する。複数の独立した答え可能な質問が1つのプロンプト内で提示されると、モデルは各質問に対するより短い推論トレースを自発的に生成する。軽量な自己教師型微調整手法であるConPressを提案する。
論文参考訳（メタデータ） (2026-02-01T22:31:19Z)
Which Reasoning Trajectories Teach Students to Reason Better? A Simple Metric of Informative Alignment [82.00769536768509]
Rank-Surprisal Ratioは、推論軌道の適合性を評価するためにアライメントとインフォメーションの両方をキャプチャする単純な計量である。軌道選択と教師選択の両方において,その実用性を実証する。
論文参考訳（メタデータ） (2026-01-20T18:58:10Z)
Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文参考訳（メタデータ） (2026-01-15T04:40:45Z)
In Their Own Words: Reasoning Traces Tailored for Small Models Make Them Better Reasoners [12.995634497832027]
より大きな言語モデルから小さな言語モデルへの推論能力の転送は、しばしば反故意に失敗する。より大きなモデルからのトレースの推論は、学生の分布下では低い確率のトークンを含む。本稿では,学生に優しい推論トレースを生成するメカニズムであるReverse Speculative Decoding (RSD)を提案する。
論文参考訳（メタデータ） (2025-09-26T11:40:32Z)
Distilling the Implicit Multi-Branch Structure in LLMs' Reasoning via Reinforcement Learning [63.888013006686364]
教師による微調整(SFT)による教師から生徒への推論経路の蒸留は、大規模言語モデル(LLM)の推論能力を向上させるショートカットを提供する。 GSRM(Generative Structure Reward Model)による強化学習に基づく蒸留フレームワークRLKDを提案する。 GSRMは、推論パスを複数のメタ推論解決ステップに変換し、報酬を計算して、学生と教師の推論の構造的アライメントを測定する。
論文参考訳（メタデータ） (2025-05-22T02:36:36Z)
SCOTT: Self-Consistent Chain-of-Thought Distillation [68.40232422158569]
大規模言語モデル(LM)は、チェーン・オブ・シークレット・プロンプトを通じて予測のための自由テキスト論理を生成する。そこで本研究では,教師モデルから,小規模で自己整合的なCoTモデルを学習するための忠実な知識蒸留法を提案する。忠実蒸留を確実にするために,教師生成の合理性を用いて,反実的推論目的の学生LMを学習する。
論文参考訳（メタデータ） (2023-05-03T03:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。