論文の概要: Training-Free On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.22236v2
• Date: Tue, 20 Oct 2026 04:16:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.215816
• Title: Training-Free On-Policy Distillation
• Title（参考訳）: 研修不要のオン・ポリシィ蒸留
• Abstract要約: オンライン蒸留は、各教師のロールアウト、教師パス、勾配ステップの価格で、専門的なモデルを1つの学生に集約する。 フォワードパスのみの場合、個別に調整されたスペシャリストの能力は1つのモデルに集約できる。 Olmo-3-7Bでは、各専門家が7つの数学とコードベンチマークのそれぞれでゲインを保っているジェネラリストが得られる。
• 参考スコア（独自算出の注目度）: 10.340803470613217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation consolidates specialist models into one student at the price of rollouts, teacher passes and gradient steps for every teacher. We show that the consolidation does not need training: with forward passes only, the capabilities of separately tuned specialists can be aggregated into one model that is, on average, more accurate than either specialist alone. When specialists share a base model, distillation has an exact layer-wise solution: each linear layer of the fused model must reproduce every specialist's output on the inputs that specialist receives while reading its own answers, a least-squares problem whose solution needs only the second moments of those inputs. One forward pass over a few hundred rollouts provides them. We call this training-free on-policy distillation. What the rollouts contain matters more than the solver: answers truncated in repetition loops are few among a mathematics specialist's rollouts but carry a large share of their tokens, and removing them lifts the fused model on AIME25 from task arithmetic's level to the specialist's at matched precision. On Olmo-3-7B, a few GPU-hours of forward computation per specialist yield a generalist that keeps most of each specialist's gain on each of seven mathematics and code benchmarks.
• Abstract（参考訳）: オンライン蒸留は、各教師のロールアウト、教師パス、勾配ステップの価格で、専門的なモデルを1つの学生に集約する。 フォワードパスのみにより、個別に調整されたスペシャリストの能力は、平均してどちらのスペシャリストよりも正確である1つのモデルに集約できる。 融合モデルの各線形層は、専門家が自分自身の答えを読みながら受け取る入力について全ての専門家の出力を再現しなければならない。 数百回以上のロールアウトが、それらを提供する。 これを無訓練のオンライン蒸留と呼ぶ。 繰り返しループで計算された答えは、数学の専門家のロールアウトの中ではほとんどないが、トークンの大部分を持ち、それらを取り除くことで、タスク算術のレベルから専門家の一致した精度まで AIME25 上の融合モデルを持ち上げる。 Olmo-3-7Bでは、各専門家が7つの数学とコードベンチマークのそれぞれでゲインを保っているジェネラリストが得られる。

関連論文リスト

• Latent-MOPD: Latent Multi-Teacher On-Policy Distillation [10.355096792155168]
  LLMのための表現レベル多重教師OPD法について,Latent-MOPDを紹介した。 既存のスペシャリストを、予測とそれらを計算するために使用される隠された状態の両方を通じて統合する。 この結果から,一人の学生が,出力分布と内部表現の両面から,複数の専門家の能力を統合できることが示唆された。
  論文  参考訳（メタデータ） (2026-10-01T19:01:56Z)
• Beyond Teacher Assignment: Domain-Normalized Multi-Teacher On-Policy Distillation [52.54764167264494]
  マルチティーチンガー・オン・ポリシー蒸留は、専門家が1人の生徒に教えることを可能にする。 生徒は各プロンプトに答え、そのプロンプトのドメインの専門家は各トークンにフィードバックを与える。 このルーティングは、どのスペシャリストが教えるかを決定するが、そのフィードバックが共有学生をどれほど強く動かすかは決定しない。 そこで本研究では,各領域のフィードバックを各領域に分散させて再スケールするMOPDを提案する。
  論文  参考訳（メタデータ） (2026-09-28T15:01:25Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• Building Multi-Task Agentic LLMs via Two-Phase Distillation [21.49278503690581]
  まず、個別のタスクに対してRLエキスパートを個別に訓練し、蒸留により統合することで、そのようなモデルを構築する方法を示す。 我々は, 前方KLのモード被覆特性により, マルチタスク環境下での非政治蒸留が劣化することを示す。 本稿では, オフ・ポリケーション蒸留とオン・ポリケーション精製という2段階の手法を提案する。
  論文  参考訳（メタデータ） (2026-06-29T09:36:24Z)
• Multi-Objective Learning for Diffusion Models: A Statistical Theory under Semi-Supervised Learning [83.65494573724904]
  我々は、限られたデータを持つ拡散モデルのための原則的MOLフレームワークを開発する。 限られたペアデータから,まず軽量なスペシャリストモデルに適合する2段階のトレーニング手順を提案する。 与えられたペアサンプルの個数は、専門モデルクラスの複雑さにのみ依存することを示す境界一般化を確立する。
  論文  参考訳（メタデータ） (2026-05-24T18:19:40Z)
• Co-Evolving Policy Distillation [56.500154041818746]
  Co-Evolving Policy Distillation (CoPD)は専門家の並行トレーニングを促進し、各専門家のRLVRトレーニング中にOPDを導入する。 実験では、CoPDがテキスト、画像、ビデオの推論機能のオールインワン統合を実現することを検証する。
  論文  参考訳（メタデータ） (2026-04-29T18:24:11Z)
• Beyond Augmented-Action Surrogates for Multi-Expert Learning-to-Defer [6.792743621449621]
  マルチエキスパートラーニング・ツー・デフレ・サロゲートは統計的に一貫性があるが、専門家が成長するにつれて不適合になり、有用な専門家を抑圧したり、劣化させたりすることができる。 クラスとエキスパートを1つの拡張予測幾何学内のアクションとしてキャストする。 本稿では,クラス後部をソフトマックスで推定し,各専門家ユーティリティを独立シグモイドで推定する分離サロゲートを提案する。
  論文  参考訳（メタデータ） (2026-04-10T15:27:23Z)
• MoIN: Mixture of Introvert Experts to Upcycle an LLM [15.182215869841789]
  本稿では,フルモデルの事前学習を継続することなく,既存の大規模言語モデルを改善することを目的とする。 このアイデアは、事前学習データを意味のあるグループに分割し、各サブセットで専門家を訓練する。 推論中、入力されたクエリは、最初に最も関連する専門家にルーティングされ、その後、フォワードパスのためにベースモデルにロードされる。
  論文  参考訳（メタデータ） (2024-10-13T01:11:04Z)
• BASE Layers: Simplifying Training of Large, Sparse Models [53.98145464002843]
  我々は,大規模言語モデルのための新しいバランスド・アサイン・オブ・エキスパート(base)層を導入する。 スパース層は、各トークンを専門のエキスパートモジュールにルーティングすることで、トレーニングと推論の効率を劇的に改善することができる。 トークン対エキスパート割り当てを線形割り当て問題として定式化し、各専門家が等しいトークン数を受け取る最適な割り当てを可能にする。
  論文  参考訳（メタデータ） (2021-03-30T23:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。