論文の概要: Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
- arxiv url: http://arxiv.org/abs/2607.16246v1
- Date: Fri, 26 Jun 2026 14:19:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.054623
- Title: Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
- Title（参考訳）: データを決定せよ - オフポリシィ蒸留による継続事前学習におけるスーパービジョン分析、能力トレードオフ、適応的客観的ルーティング
- Abstract要約: オフ・ポリス蒸留は、現在、大規模な言語モデルの事前訓練の中心となっている。
学習データ、客観的パラメータ化、モデル能力の相互作用について検討する。
- 参考スコア（独自算出の注目度）: 8.245706308161504
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Off-policy distillation is now central to large language model pre-training, yet how training data, objective parameterization, and model capabilities interact remains poorly characterized. We studies top-$k$-truncated, temperature-scaled off-policy distillation by decomposing this problem into two questions: an \emph{objective-to-capability} analysis of how the training objective shapes token-level supervision and downstream performance, and a \emph{data-to-objective} analysis of how data heterogeneity should inform objective routing. We first show that the language-modeling objective ($L_{\mathrm{LM}}$) and the knowledge-distillation objective ($L_{\mathrm{KD}}$) induce systematically different capability profiles, and trace this divergence to a gradient-level tension between \emph{direct observed-token reinforcement} and \emph{teacher-supported alternative supervision}. To quantify this tension, we introduce diagnostic metrics -- support coverage, observed-token probability mass, and teacher-distribution concentration -- and show via controlled sweeps that the support size $k$ governs a coverage-sharpness trade-off, while distillation temperature controls within-support probability allocation. We then examine adaptive objective routing: a domain-level policy that applies $L_{\mathrm{LM}}$ to math and code and $L_{\mathrm{KD}}$ to general-domain data yields consistent gains over both single-objective baselines, whereas token-level routing based on observed-token probability mass or teacher entropy fails to consistently match the single-objective baseline. These results suggest that effective objective routing depends less on routing granularity than on the quality of the routing signal, reframing continued pre-training via off-policy distillation as a structured, data-conditional supervision-design problem rather than a global hyperparameter choice.
- Abstract（参考訳）: 現在では、大規模言語モデルの事前学習の中心となっているが、トレーニングデータ、客観的パラメータ化、モデル能力の相互作用は、いまだに不十分である。
我々は,この問題を2つの質問に分解して,k$truncated, temperature-scaled off-policyの蒸留法について検討した。
まず,言語モデリングの目的(L_{\mathrm{LM}}$)と知識蒸留の目的(L_{\mathrm{KD}}$)が体系的に異なる能力プロファイルを誘導し,この相違点を追究する。
このテンションを定量化するために、我々は、診断指標 -- サポートカバレッジ、観察された確率質量、教師分布濃度 -- を導入し、制御されたスイープを通して、サポートサイズ$k$がカバレッジシャープなトレードオフを管理し、蒸留温度が確率アロケーション内を制御していることを示す。
L_{\mathrm{LM}}$を数学とコードに適用し、L_{\mathrm{KD}}$を一般のドメインデータに適用すると、単目的ベースラインと一貫した利得が得られるが、観測された確率質量や教師エントロピーに基づくトークンレベルのルーティングは、単目的ベースラインと一貫して一致しない。
これらの結果から, 効率的な客観的ルーティングはルーティング信号の品質よりもルーティングの粒度に依存せず, グローバルなハイパーパラメータ選択ではなく, 構造化されたデータ条件による監視設計問題として, 外部蒸留による事前学習を継続する可能性が示唆された。
関連論文リスト
- Measuring Task-Agnostic Training Data Influence Across Language Model Pretraining [35.37816139054677]
本稿では、下流のタスクや検証セットを属性ターゲットとして選択する必要のない、データ影響のトレーニング尺度を提案する。
その勾配更新が、与えられた事前学習実行の最終パラメータまでの距離をどれだけ減少させるかによって、例の影響を定義する。
この手法をPythiaおよびPolyPythiaスイートから18の構成に適用すると、影響データに系統的な時間的変化が生じる。
論文 参考訳（メタデータ） (2026-08-13T17:36:49Z) - Adaptive Supervised Anchoring for On-Policy Self-Distillation [15.445625053566244]
オンライン自己蒸留は、学生から採取した軌道上の凍結教師からの指導を蒸留することにより、言語モデルに適応する。
本研究は,学生が目標軌跡から遠ざかると,教師の目標外接頭辞の条件がタスク関連監督を著しく弱めることを示す。
本稿では,2つの補完的な指導経路を分離する統合トレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2026-08-08T05:46:32Z) - Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation [21.932079347631632]
大規模言語モデル(LLM)の強化と整合のための重要なパラダイムとして、オンデマンド自己蒸留(OPSD)が登場している。
OPSDは複雑な推論タスクにおいて、ダウンストリームのパフォーマンスをパラドックス的に低下させる。
自己蒸留目標を動的に緩和する頑健な制御フレームワークであるtextbf Dual-Perspective OPSD (AD-OPSD) を提案する。
論文 参考訳（メタデータ） (2026-07-12T15:24:25Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
強化学習は、教師付き学習よりも構造的に難しい。
本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
論文 参考訳（メタデータ） (2026-05-12T16:44:47Z) - Model Specific Task Similarity for Vision Language Model Selection via Layer Conductance [92.72779885657373]
本稿では,視覚エンコーダの内部関数力学におけるモデル選択の基盤となるフレームワークを提案する。
提案手法は,各タスクをレイヤワイドコンダクタンスにより表現し,エントロピー正規化アライメントによる目標条件付きブロック重要度分布を導出する。
そこで本研究では,DCD(Directional Conductance Divergence)という,ソースタスクが対象の機能ブロックをいかに効果的にカバーするかを定量化する非対称な指標を提案する。
論文 参考訳（メタデータ） (2026-02-01T17:29:43Z) - Reverse Flow Matching: A Unified Framework for Online Reinforcement Learning with Diffusion and Flow Policies [4.249024052507976]
本稿では, 直接的対象サンプルを使わずに, 拡散・流動モデルの訓練問題に厳密に対処する, 逆流マッチング (RFM) の統一フレームワークを提案する。
逆推論の観点を採用することで、中間雑音サンプルが与えられた後部平均推定問題としてトレーニング対象を定式化する。
このクラスでは,既存の雑音予測法と勾配探索法が2つの具体例であることを示す。
論文 参考訳（メタデータ） (2026-01-13T01:58:24Z) - Test-time Offline Reinforcement Learning on Goal-related Experience [50.94457794664909]
基礎モデルの研究では、テストタイムトレーニングによってパフォーマンスが大幅に改善できることが示されている。
本稿では、オフラインデータセットから現在の状態への関連性に応じて遷移を選択する、新しい自己教師型データ選択基準を提案する。
目標条件付きテストタイムトレーニング(GC-TTT)アルゴリズムは、評価中にこのルーチンを後退水平方式で適用し、現在の軌道にポリシーを適用する。
論文 参考訳（メタデータ） (2025-07-24T21:11:39Z) - Embedding generalization within the learning dynamics: An approach based-on sample path large deviation theory [0.0]
本研究では,持続的視点から手法を利用する経験的リスク摂動に基づく学習問題を考察する。
大規模偏差のFreidlin-Wentzell理論に基づく小雑音限界の推定を行う。
また、最適点推定に繋がる変分問題を解く計算アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-08-04T23:31:35Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳（メタデータ） (2023-10-06T17:57:44Z) - Distributional Shift-Aware Off-Policy Interval Estimation: A Unified
Error Quantification Framework [8.572441599469597]
本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。
目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。
提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
論文 参考訳（メタデータ） (2023-09-23T06:35:44Z) - MAPS: A Noise-Robust Progressive Learning Approach for Source-Free
Domain Adaptive Keypoint Detection [76.97324120775475]
クロスドメインキーポイント検出方法は、常に適応中にソースデータにアクセスする必要がある。
本稿では、ターゲット領域に十分に訓練されたソースモデルのみを提供する、ソースフリーなドメイン適応キーポイント検出について考察する。
論文 参考訳（メタデータ） (2023-02-09T12:06:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。