論文の概要: PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining

• arxiv url: http://arxiv.org/abs/2610.19601v1
• Date: Wed, 14 Oct 2026 05:23:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.968173
• Title: PA1-OPD: One-Step Prefix-Augmented On-Policy Distillation for Language Model Pretraining
• Title（参考訳）: PA1-OPD:言語モデル事前学習のためのワンステッププレフィックス拡張オンポリシィ蒸留
• Abstract要約: PA1-OPDは選択した接頭辞ごとに1つの学生サンプル遷移後に教師のフィードバックでコーパス蒸留を増強する。 データアンカレッド根は並列サンプリングをサポートする。 追加の深さや幅は、長期ごとの監督重みの変化で集計結果を改善する。
• 参考スコア（独自算出の注目度）: 29.894659135738053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation (KD) improves language-model pretraining by matching teacher distributions at corpus prefixes, but provides no direct supervision at contexts induced by student predictions. We introduce PA1-OPD, which augments corpus-path distillation with teacher feedback after one student-sampled transition per selected prefix. This expands the supervised states while retaining next-token prediction and corpus-path KD. Data-anchored roots support parallel sampling, and differentiable tree attention shares prefix computation without changing inference. In two continued-pretraining settings, full coverage improves held-out cross-entropy over KD across C4, PG-19, and Pile at every evaluated checkpoint. In Stage2, selecting the 10% of roots with highest student surprisal adds 48.85% to KD's Macro cross-entropy gain over next-token training. Gains remain when branch supervision excludes successor states already on the corpus path, supporting the value of feedback beyond observed contexts. Additional depth or breadth improves aggregate results at unchanged per-term supervision weight, with benefits varying by corpus. These findings support local student-induced supervision as a complement to pretraining distillation.
• Abstract（参考訳）: 知識蒸留(KD)は、コーパスプレフィックスにおける教師分布の一致による言語モデル事前学習を改善するが、学生の予測によって引き起こされる文脈の直接的な監視は行わない。 本稿では,選択した接頭辞1回につき,教師のフィードバックでコーパス蒸留を増強するPA1-OPDについて紹介する。 これにより、監督状態が拡張され、次のトーケン予測とコーパスKDが維持される。 データアンコールされたルートは並列サンプリングをサポートし、異なるツリーアテンションは推論を変更することなくプレフィックス計算を共有する。 2つの事前トレーニング設定では、フルカバレッジは、評価されたチェックポイント毎に、C4、PG-19、PileにわたるKD上のホールドアウトクロスエントロピーを改善している。 ステージ2では、最高生徒数で10%のルートを選択すると、次点のトレーニングよりもKDのマクロクロスエントロピーが48.85%向上する。 ブランチの監督が、すでにコーパス上の後継状態を除外し、観察されたコンテキストを超えたフィードバックの価値をサポートする場合、利益は残る。 追加の深さや幅は、コーパスによって異なる利益とともに、長期ごとの監督重量の変化による集計結果を改善する。 これらの知見は, 蒸留の事前訓練の補完として, 現地の学生による指導を支えている。

関連論文リスト

• dIon: Fragmentation-Based Invariance for Self-Supervised Learning of Tandem Mass Spectra [1.315766151337659]
  本稿では,ペプチドタンデム質量分析データに対する新しい不変性を導入し,自己教師付き表現学習を開放する。 DINOフレームワークを2つの潜伏予測タスクで適用するdIonを紹介した。 ペプチド配列ラベルを必要とせず、前駆体特性(質量と電荷)とフラグメントイオンエビデンスの間の物理的関係を利用する。
  論文  参考訳（メタデータ） (2026-10-05T13:09:47Z)
• What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
  共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。 生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。 我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:08:31Z)
• On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
  強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。 そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。 SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
  論文  参考訳（メタデータ） (2026-08-25T14:55:24Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• Prefix-Guided On-Policy Distillation: Mining Golden Trajectories from Rollouts [48.550535291129584]
  Prefix-Guided On-Policy Distillation (PG-OPD) は、固定長プレフィックスを用いて、高価な長距離発生前に軌跡値を推定する単純なロールアウト・アロケーションフレームワークである。 AMC、AIME、HMMTベンチマークの様々な教師/学生の組み合わせで、PG-OPDはトレーニング時間を最大2.46倍にし、平均精度を4.80ポイントまで改善している。
  論文  参考訳（メタデータ） (2026-06-20T11:18:34Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• SGD-Based Knowledge Distillation with Bayesian Teachers: Theory and Guidelines [82.00660447875266]
  知識蒸留(英: Knowledge Distillation, KD)は、大きな教師ネットワークから、しばしばソフト確率出力を利用して、より小さな学生モデルに知識を伝達する中心的なパラダイムである。 グラディエント・Descent (SGD) を訓練した学生の収束行動の厳密に分析する。 分析の結果,BCPからの学習は分散の低減と収束境界の近傍項の除去に寄与することがわかった。 これらの知見に触発されて、我々は、通常、KDの教師として、BCPの見積もりを改善するベイズ深層学習モデルの使用を提唱する。
  論文  参考訳（メタデータ） (2026-01-04T11:09:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。