論文の概要: Data-free On-policy Distillation

• arxiv url: http://arxiv.org/abs/2609.14193v2
• Date: Thu, 17 Sep 2026 20:45:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.679559
• Title: Data-free On-policy Distillation
• Title（参考訳）: データフリーオン政治蒸留
• Abstract要約: オンライン蒸留(OPD)は、フロンティア・ポストトレーニングパイプラインの標準コンポーネントとなっている。 しかし、そのトレーニングデータが実際にどれだけ貢献するかは、ほとんど検討されていない。 我々はこのことをtextbfData-free On-policy Distillation (DF-OPD) で制限する。 DF-OPDは実際のデータと一致し、さらにそのデータを生成する質問は、教師自身のポストトレーニングデータを追跡する。
• 参考スコア（独自算出の注目度）: 49.537587070291444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy distillation (OPD) has become a standard component of frontier post-training pipelines, yet how much its training data actually contributes has gone largely unexamined. On the two teacher--student pairings most common in practice, we find OPD almost indifferent to its data: eight prompts already match a 17k-problem dataset, and three independently built datasets whose difficulty and teacher--student KL differ several-fold produce nearly indistinguishable training curves. Two causes account for this. First, the unit of data in OPD is the state a prompt leads to, not the prompt itself: a single prompt keeps exposing new teacher correction as sampling continues, while the marginal value of additional prompts collapses after eight. Second, replacing mathematics with competitive programming still recovers over ninety percent of the in-domain gain, indicating that OPD transfers the teacher's mode of reasoning rather than knowledge related to the data. We take this to its limit with \textbf{Data-free On-policy Distillation} (DF-OPD), in which the teacher writes its own training questions under a simple prompt---no external data, no quality filtering---leaving a system of just two policies. DF-OPD matches and even surpasses real data, and the questions it produces track the teacher's own post-training data on three key diagnostics of training dynamics, which other real datasets do not. Applied to multi-teacher distillation, where the (prompt, domain) pairs normally have to be derived from post-training data that is often out of reach, 1k self-generated questions close 98.5\% of the available headroom, even surpassing the 96.6\% reached with 7k real examples. Together these results invite a reassessment of the role data plays in OPD.
• Abstract（参考訳）: オンライン蒸留(OPD)は、フロンティア・ポストトレーニングパイプラインの標準コンポーネントとなっているが、実際にどれだけのトレーニングデータが貢献するかは、ほとんど検討されていない。 8つのプロンプトは17k-problemデータセットにすでにマッチしており、3つの独立したデータセットは困難で教師のKLが異なる。 これには2つの原因がある。 1つのプロンプトはサンプリングが継続するにつれて新しい教師の修正を露出し続け、もう1つのプロンプトの限界値は8以降に崩壊する。 第二に、数学を競合プログラミングに置き換えることは、ドメイン内の利益の90%以上を回復させ、OPDがデータに関する知識ではなく、教師の推論のモードを移すことを示している。 これは、教師が簡単なプロンプトで独自のトレーニング質問を書いて、外部データなし、品質フィルタリングなし、たった2つのポリシーのシステムを省くという、‘textbf{Data-free On-policy Distillation}(DF-OPD)’という制限に当てはまる。 DF-OPDは実際のデータと一致し、さらに、それが生成する質問は、他の実際のデータセットではできないトレーニングダイナミクスの3つの重要な診断について、教師自身のトレーニング後のデータを追跡する。 マルチティーチンガー蒸留では、通常、(プロンプト、ドメイン)対は、到達範囲外である訓練後のデータから導出されなければならないが、1kの自己生成質問は、利用可能なヘッドルームの98.5 %に近づき、96.6 %を超え、実例は7kである。 これらの結果と共に、PDで果たす役割データの再評価を招待する。

関連論文リスト

• What Matters in On-Policy Distillation? A Perspective on Data Efficiency and Data Selection [25.414327410290543]
  On-Policy Distillation (OPD) は、ドメイン推論において大規模言語モデルを強化するための訓練後パラダイムとして広く採用されている。 本稿では,OPDにおけるデータ効率とデータ選択に関する実証的研究について述べる。
  論文  参考訳（メタデータ） (2026-09-04T14:32:08Z)
• Rethinking On-Policy Distillation of Large Language Models II: One Training Example [31.843793429278808]
  オンライン蒸留は、学生が生み出したロールアウトと教師からの密集したトークンレベルの監督を組み合わせたものである。 ワンショットPDは数百ステップの改善を続けており、タスクドメインやモデルファミリー全体にわたるフルデータPDの利益のほとんどを回復している。 本研究は,教員の研修期間中に訪れた州と,学生が教師に同調する割合を通じて,この結果を説明する。
  論文  参考訳（メタデータ） (2026-09-03T17:54:38Z)
• OPOD: On-Policy Omni Distillation [55.440058537827134]
  プール化されたマルチモーダルデータ上で単一のモデルをトレーニングすることは、個々のモダリティに特化したモデルにマッチしないことが多い。 本報告では,オムニ蒸留法(Omni Distillation,OPD)について述べる。 OPDは各スケールで最高のスコアを獲得し、70.8、51.7、46.2に達した。
  論文  参考訳（メタデータ） (2026-07-23T04:55:04Z)
• Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline [56.53954182896384]
  大規模言語モデルのための簡単な訓練後改良アルゴリズムである自己検証蒸留を提案する。 自己検証蒸留(Self-Verified Distillation)は、未ラベルの種問に対する候補解を生成する。 プロンプトベースの自己検証を使用してフィルタリングし、結果の自己計算データセットをトレーニングする。 トレーニングデータ構築中に、より多くの候補世代をサンプリングし、より大きな検証予算を使用することで、高品質な自己計算データが得られることがわかった。
  論文  参考訳（メタデータ） (2026-05-20T17:26:10Z)
• DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
  蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。 標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。 既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-15T02:04:12Z)
• Offline Reinforcement Learning: Role of State Aggregation and Trajectory Data [64.93285984013833]
  我々は,ベルマンを使わずに,値関数を実現可能なオフライン強化学習の問題を再考する。 Xie と Jiang (2021) と Foster et al. (2022) による以前の研究は、軌道に基づくオフラインデータとともに集中係数が有界標本複雑性を統一するかどうかという疑問を解き放った。
  論文  参考訳（メタデータ） (2024-03-25T18:28:45Z)
• Sampling to Distill: Knowledge Transfer from Open-World Data [28.74835717488114]
  冗長な生成過程を伴わずにデータ自由知識蒸留(DFKD)タスクのための新しいオープンワールドデータサンプリング蒸留(ODSD)手法を提案する。 まず、適応サンプリングモジュールを用いて、原データの分布に近いオープンワールドデータをサンプリングする。 そこで我々は,学生モデル自体と教師の構造化表現を通して,データ知識を活用するために,複数のデータ例の構造化関係を構築した。
  論文  参考訳（メタデータ） (2023-07-31T12:05:55Z)
• Decentralized Federated Learning Preserves Model and Data Privacy [77.454688257702]
  我々は、訓練されたモデル間で知識を共有することができる、完全に分散化されたアプローチを提案する。 生徒は、合成された入力データを通じて教師の出力を訓練する。 その結果,教師が学習した未学習学生モデルが,教師と同等のF1スコアに達することがわかった。
  論文  参考訳（メタデータ） (2021-02-01T14:38:54Z)
• Towards Zero-Shot Knowledge Distillation for Natural Language Processing [9.223848704267088]
  知識蒸留(KD)は、さまざまなディープラーニングベースの自然言語処理(NLP)ソリューションのモデル圧縮に使用される一般的なアルゴリズムです。 通常の表現では、kdは生徒ネットワークへの知識伝達のために教師のトレーニングデータにアクセスする必要がある。 私たちは、NLPのためのゼロショット知識蒸留の最初の作品である私たちの知識のベストを提示します。そこでは、学生はタスク固有のデータなしではるかに大きな教師から学びます。
  論文  参考訳（メタデータ） (2020-12-31T08:16:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。