論文の概要: Beyond Prompt Count: How Data Shapes Transfer in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.37377v1
• Date: Tue, 29 Sep 2026 12:30:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.485813
• Title: Beyond Prompt Count: How Data Shapes Transfer in On-Policy Distillation
• Title（参考訳）: プロンプト数を超える: オンライン蒸留におけるデータ形状の伝達
• Abstract要約: 本稿では,RL-およびSFT-Continuationペアとクロスモデル設定を併用して,プロンプト量,ソース,選択について検討する。 4つのDAPOプロンプトは3,840個のDeepMathプロンプトと一致している。 実効的なデータ選択は、教師と学生のペアと目標能力に依存し、ランダムサンプリングは学習環境において競合するベースラインを提供する。
• 参考スコア（独自算出の注目度）: 28.33005480931997
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation (OPD) trains students using teacher feedback on their own sampled responses, yet how prompt choice shapes transfer across teacher-student pairs remains poorly understood. We systematically study prompt quantity, source, and selection across RL- and SFT-continuation pairs and cross-model settings. We find that OPD can be highly prompt-efficient: a few prompts can approach large-pool performance, with four DAPO prompts matching the observed mathematics score of 3,840 DeepMath prompts. However, prompt utility is relational rather than intrinsic: changing only the teacher can reverse the relative effectiveness of mathematics and code prompts. To characterize these transfer differences, we analyze parameter and functional changes across prompt supports and model pairs. Functional alignment with the teacher varies across supports and target tasks; in continuation pairs, teacher-aligned prediction changes can coexist with weak parameter alignment. Continued OPD on effective supports can restore performance after unfavorable transfer. Finally, targeted selection does not consistently outperform uniform random sampling, and filtering out a source that performs poorly alone yields no consistent gain across three paired support draws. Overall, our results distinguish prompt efficiency from prompt interchangeability and show that effective data choice depends on the teacher-student pair and target capability, with random sampling providing a competitive baseline in the studied settings.
• Abstract（参考訳）: オンライン蒸留 (OPD) では, 教師のフィードバックによる自作のサンプル応答を訓練するが, 教師と学生のペア間での迅速な選択形態の伝達は理解されていない。 本稿では,RL-およびSFT-Continuationペアとクロスモデル設定を併用して,プロンプト量,ソース,選択を体系的に検討する。 数個のプロンプトは大規模プール性能に近づき、4つのDAPOプロンプトは3,840のDeepMathプロンプトと一致している。 しかし、プロンプト効用は本質的なものではなくリレーショナルであり、教師だけを変えるだけで数学とコードプロンプトの相対的有効性は逆転できる。 これらの伝達の違いを特徴付けるために、プロンプトサポートとモデルペア間のパラメータと機能的変化を分析する。 教師と教師との連携は、サポートや目標タスクによって異なり、継続ペアでは、教師に沿った予測変更は、弱いパラメータアライメントと共存することができる。 有効サポートの継続PDは、好ましくない転送後にパフォーマンスを回復することができる。 最後に、ターゲット選択は、一様ランダムサンプリングを一貫して上回り、貧弱な単独で実行するソースをフィルタリングしても、3つのペアのサポートドローに対して一貫した利得は得られない。 本研究の結果は,教師と学生のペアと目標能力に依存していることを示すとともに,ランダムサンプリングが学習環境における競争基準となることを示すものである。

関連論文リスト

• Learning from Think-Mode Advantage via On-Policy Distillation [6.1595973562360316]
  明示的な中間推論は、大きな言語モデルにより強力な問題解決モードを与える。 我々は、オンライン蒸留(OPD)を通して、このシンクモードの利点から学ぶことを研究する。 ThinkOPDは、学生が生成した軌跡を保存し、学生が訪問する接頭辞に密集したトークンレベルの教師ターゲットを提供する。
  論文  参考訳（メタデータ） (2026-09-29T08:51:21Z)
• Distillation as Probability Transport: Routed On-Policy Distillation [29.500694918719166]
  RouteOPD (Routed On-Policy Distillation) は、地元の教師を分解する。 教師の4つの設定と4つの数学的推論のベンチマークによる実験は、RouteOPDがサンプル化された逆KL OPDより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-08T07:07:39Z)
• STEP-OPD: Rethinking Output Targets and Internal Dynamics in On-Policy Distillation for Diffusion Models [14.682283642975271]
  本稿では,教師を超えて学習対象を拡大する画像生成のためのオンライン蒸留フレームワークSTEP-OPDを提案する。 教師を最終目標として扱う代わりに、各タスク固有の教師と共有ベースモデルの速度差を更なる学習の方向として利用する。 さらに、学生と教師の表現変化の方向と大きさを調整し、学生がどのように表現が徐々に変換されるかを学習できるようにする。
  論文  参考訳（メタデータ） (2026-08-05T14:11:27Z)
• DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
  蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。 標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。 既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-15T02:04:12Z)
• Distilling Reasoning into Student LLMs: Local Naturalness for Selecting Teacher Data [18.97748910748554]
  そこで本研究では,局所自然度(Local Naturalness)について紹介する。 多くの教師の回答を混ぜ合わせると、Local Naturalnessは32Bの学生の数学のベンチマークの精度を、グローバルセレクションよりも9.4pp向上させる。 これらの結果は, ローカライズされたデータ品質評価とデータ混合により, より効果的に蒸留できることを示すものである。
  論文  参考訳（メタデータ） (2025-10-05T01:15:32Z)
• A Systematic Examination of Preference Learning through the Lens of Instruction-Following [83.71180850955679]
  新たな合成データ生成パイプラインを用いて48,000の命令追従プロンプトを生成する。 合成プロンプトでは、リジェクションサンプリング(RS)とモンテカルロ木探索(MCTS)の2つの選好データセットキュレーション手法を用いる。 実験により、MCTSが生成した選好ペアにおける共有プレフィックスは、限界はあるが一貫した改善をもたらすことが明らかになった。 高コントラストの選好ペアは一般的に低コントラストのペアよりも優れているが、両者を組み合わせることで最高のパフォーマンスが得られることが多い。
  論文  参考訳（メタデータ） (2024-12-18T15:38:39Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。