論文の概要: Rethinking On-Policy Distillation of Large Language Models II: One Training Example

• arxiv url: http://arxiv.org/abs/2609.04172v1
• Date: Thu, 03 Sep 2026 17:54:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:39.195235
• Title: Rethinking On-Policy Distillation of Large Language Models II: One Training Example
• Title（参考訳）: 大規模言語モデルのオンライン蒸留再考II:1つの訓練例
• Abstract要約: オンライン蒸留は、学生が生み出したロールアウトと教師からの密集したトークンレベルの監督を組み合わせたものである。 ワンショットPDは数百ステップの改善を続けており、タスクドメインやモデルファミリー全体にわたるフルデータPDの利益のほとんどを回復している。 本研究は,教員の研修期間中に訪れた州と,学生が教師に同調する割合を通じて,この結果を説明する。
• 参考スコア（独自算出の注目度）: 31.843793429278808
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD's gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure \emph{state coverage}, the fraction of the states full-data OPD visits that a query set's rollouts reach. A single query already reaches \(71.5\%\), most of it within the first 100 steps. Adding semantically distinct queries raises coverage and validation accuracy together, until 16 queries reach \(98.9\%\) and match full-data training. Yet alignment slows at a similar pace whether OPD trains on one query or the whole dataset, and even a fixed set of states takes hundreds of steps to absorb. OPD is therefore data-overfed but algorithm-starved. Its rollouts quickly expose broad supervision, while the student absorbs that supervision increasingly slowly. The state-coverage result extends to multi-teacher OPD, where 16 semantically diverse queries per domain match full-data MOPD. As a further stress test, content-light templates and off-domain WildChat queries also approach the real-query baseline. Task content and induced state coverage can therefore come apart. We hope these findings direct future work toward the step efficiency of OPD, and prompt a re-examination of the data and the mechanisms behind its recent successes in frontier post-training.
• Abstract（参考訳）: オンライン蒸留(On-policy distillation、OPD)は、学生が生み出すロールアウトと、教師による密集したトークンレベルの監督を組み合わせたものである。 既存の研究は主にアルゴリズムの振る舞いを研究しており、トレーニングデータの役割は明らかになっていない。 単一クエリのトレーニングにより,データ最小限におけるこの役割について検討する。 ワンショットPDは数百ステップの改善を続けており、タスクドメインやモデルファミリー全体にわたるフルデータPDの利益のほとんどを回復している。 本研究は,教員の研修期間中に訪れた州と,学生が教師に同調する割合を通じて,この結果を説明する。 クエリセットのロールアウトが到達した状態のフルデータPD訪問のごく一部である‘emph{state coverage}’を測定します。 1つのクエリはすでに(71.5\%\)に達しており、そのほとんどが最初の100ステップ以内である。 意味的に異なるクエリを追加することで、カバレッジとバリデーションの精度が上がり、16のクエリが \(98.9\%\) に達するまで、フルデータのトレーニングにマッチする。 しかし、OPDがひとつのクエリでトレーニングするか、データセット全体でトレーニングするか、あるいは固定された状態でも、数百ステップで吸収されるか、同様のペースでアライメントが遅くなります。 したがって、OPDはデータ過剰だがアルゴリズムに飢えている。 ロールアウトはすぐに広範囲の監督を公開し、学生は徐々にその監督を吸収する。 状態カバレッジの結果はマルチTeacher OPDにまで拡張され、ドメインあたり16のセマンティックなクエリがフルデータMOPDにマッチする。 さらなるストレステストとして、コンテントライトテンプレートとオフドメインのWildChatクエリも、リアルタイムベースラインに近づいている。 そのため、タスクの内容と引き起こされた状態カバレッジが分離される可能性がある。 これらの知見は,OPDのステップ効率に向けての今後の取り組みを示唆するもので,フロンティア後トレーニングにおける最近の成功の背景にあるデータとメカニズムの再検討を促すことを願っている。

関連論文リスト

• Data-free On-policy Distillation [49.537587070291444]
  オンライン蒸留(OPD)は、フロンティア・ポストトレーニングパイプラインの標準コンポーネントとなっている。 しかし、そのトレーニングデータが実際にどれだけ貢献するかは、ほとんど検討されていない。 データフリーオン政治蒸留(DF-OPD)の限界に着目する。 DF-OPDは実際のデータと一致し、さらにそのデータを生成する質問は、教師自身のポストトレーニングデータを追跡する。
  論文  参考訳（メタデータ） (2026-09-12T23:51:35Z)
• MemOPD: On-Policy Distillation through Memory State Alignment for Long-Horizon Agents [48.05798760668219]
  ロングホライゾンエージェントは相互作用中に成長するコンテキストを蓄積し、性能と安定性を損なう。 本稿では,メモリアライメントオンポリシィ蒸留法(MemOPD)を提案する。 MemOPDは、各モデル呼び出しの入力とサンプル出力を記録し、元のトークン位置を復元し、再構築された呼び出しをパックして、効率的な教師のスコアリングを行う。
  論文  参考訳（メタデータ） (2026-08-07T10:18:31Z)
• Multi-Turn On-Policy Distillation with Prefix Replay [73.10000453999088]
  エージェントタスクに対するReplayed-Prefix On-Policy Distillation (ReOPD)を提案する。 ReOPDは、プレコンパイルされた教師の軌跡を再生プレフィックスとして再利用する。 OPDレベルの精度を保存または改善し、学生のトレーニング中にゼロツールコールを使用し、PDよりもトレーニングステップあたり最低4$times$高速である。
  論文  参考訳（メタデータ） (2026-07-06T07:56:53Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• TCOD: Exploring Temporal Curriculum in On-Policy Distillation for Multi-turn Autonomous Agents [55.27396165691312]
  マルチターンエージェント設定におけるバニラOPDの鍵となる制限を,トラジェクトリレベルKL不安定(Trajectory-Level KL Instability)と呼ぶ。 学生に露出する軌道深度を制御し,カリキュラムのスケジュールを段階的に拡張するフレームワークであるTCODを提案する。 4組の生徒と教師のペアによる実験結果から,TCODはKLのエスカレーションを軽減し,トレーニングを通してKLの安定性を高め,バニラPDよりも最大18ポイントのエージェント性能を向上させることが示された。
  論文  参考訳（メタデータ） (2026-04-27T03:38:27Z)
• Transformer-Driven Modeling of Variable Frequency Features for Classifying Student Engagement in Online Learning [2.127312905562737]
  本稿ではエンゲージフォーマー(EngageFormer)を提案する。エンゲージフォーマー(EngageFormer)は,エンゲージ分類のためのビデオモダリティを用いたシーケンスプーリングを備えたトランスフォーマーアーキテクチャである。 提案アーキテクチャは,入力ビデオから3つのビューを計算し,トランスフォーマーエンコーダを用いて並列に処理する。 既存のオープンソースデータベースから学習中心の感情状態データセットをキュレートする。
  論文  参考訳（メタデータ） (2025-02-15T14:37:09Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• QUERT: Continual Pre-training of Language Model for Query Understanding in Travel Domain Search [15.026682829320261]
  旅行ドメイン探索におけるQUERy理解のための継続事前学習型言語モデルQUERTを提案する。 Quertは、旅行ドメイン検索におけるクエリの特徴に対して、4つの調整済み事前訓練タスクで共同で訓練されている。 オンラインビジネスにおけるQUERTの改善を確認するため、QUERTをデプロイし、Fliggy APP上でA/Bテストを実施します。
  論文  参考訳（メタデータ） (2023-06-11T15:39:59Z)
• Data-Efficient Ranking Distillation for Image Retrieval [15.88955427198763]
  近年のアプローチでは、より深く重いアーキテクチャからより小さなネットワークへ知識を伝達するために、知識蒸留を用いてこの問題に対処している。 本稿では,計量学習問題に対する知識蒸留について述べる。 従来の手法とは違って,提案手法では,教師モデルに対する限定的なクエリ,最終出力表現へのアクセスを伴うブラックボックス教師モデル,および第3に,基本トラストラベルのないオリジナルトレーニングデータのごく一部に対処する。
  論文  参考訳（メタデータ） (2020-07-10T10:59:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。