論文の概要: Privileged Context as Drift in On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.07842v1
• Date: Tue, 06 Oct 2026 06:45:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.847234
• Title: Privileged Context as Drift in On-Policy Self-Distillation
• Title（参考訳）: オンライン自己蒸留におけるドリフトとしての主観的文脈
• Abstract要約: 特権的文脈の選択が政策ドリフトに与える影響について検討する。 継続的な学習のためには、特権付きコンテキストはOPSDの安定性設計の一部として扱われるべきである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) trains a language model to match a copy of itself conditioned on privileged context. Existing work varies what privileged context contains and how it is produced while also changing models, data, and training setups, making the effects of privileged context design difficult to isolate. Motivated by efforts in continual learning to reduce catastrophic forgetting, we study how the choice of privileged context affects policy drift. Specifically, we vary two axes: content (a demonstration, feedback, or rephrase) and source (external, self-generated with a verifier, or self-generated without a verifier). We train Qwen2.5-7B with OPSD across these nine combinations and three datasets, measuring target-task accuracy, prior-task retention, reverse KL from the base policy, and parameter-update geometry. Holding source fixed, changing content spans a wider median KL range than holding content fixed and changing source. The ratio between these ranges is $5.1\times$ for per-token KL and $2.2\times$ for per-sequence KL. Parameter-update geometry shows the same pattern: updates from adapters that share content are more closely aligned (mean cosine $0.571$) than updates from adapters that share source ($0.255$). For continual learning, these findings suggest that privileged context should be treated as part of OPSD's stability design because it is associated with how far and in what direction the policy moves.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、特権的な文脈で条件付けられた自分自身のコピーと一致するように言語モデルを訓練する。 既存の作業は、特権的コンテキストが持つものや、モデル、データ、トレーニング設定を変更しながらどのように生成されたかによって異なり、特権的コンテキスト設計の影響を分離することが困難になる。 破滅的な忘れを減らそうとする継続的な学習の努力により、特権的文脈の選択が政策ドリフトにどのように影響するかを研究する。 具体的には、コンテンツ(実演、フィードバック、言い換え)とソース(外部、検証子で自己生成、検証子なしで自己生成)の2つの軸が異なります。 これら9つの組み合わせと3つのデータセットでQwen2.5-7BをOPSDでトレーニングし、ターゲットタスク精度、事前タスク保持、基本方針からの逆KL、パラメータ更新幾何を測定した。 ソースを固定し、コンテンツを変更することは、ソースを固定し、変更するコンテンツを保持することよりも、より広い中央値のKL範囲にまたがる。 これらの範囲の比率は、トークン毎のKLに対して5.1\times$、シーケンス毎のKLに対して2.2\times$である。 パラメータ更新幾何学は、同じパターンを示している:コンテンツを共有するアダプタからの更新は、ソースを共有するアダプタからの更新(0.255$)よりも、より密に整合している(つまり0.571$)。 これらの知見は,OPSDの安定性設計の一部として特権的文脈を扱わなければならないことを示唆している。

関連論文リスト

• VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation [68.00823860612421]
  ビデオ作成は、テキスト・トゥ・ビデオ(T2V)、画像・トゥ・ビデオ(I2V)、条件ベースの生成にまたがる。 3つのタスクファミリ用のジェネレータに対して,同じトレーニングレシピを別々に適用する統合蒸留フレームワークであるVDOT++を提案する。
  論文  参考訳（メタデータ） (2026-10-02T12:37:55Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Trust the Batch, On- or Off-Policy: Adaptive Policy Optimization for RL Post-Training [50.86545293331458]
  強化学習は、教師付き学習よりも構造的に難しい。 本稿では,固定クリッピングを政策比率の正規化された有効サンプルサイズに置き換える,単純かつ効果的なバッチ適応目的を提案する。
  論文  参考訳（メタデータ） (2026-05-12T16:44:47Z)
• Missing Old Logits in Asynchronous Agentic RL: Semantic Mismatch and Repair Methods for Off-Policy Correction [27.34307252485658]
  更新の遅れや部分的なロールアウトを伴う実用的なパイプラインでは,必要なトレーニング側ロジットが失われることがよくあります。 この欠落したログ問題により、不一致の修復が不安定な修正で絡み合い、クリッピングやマスキングのしきい値が好ましくない相互作用をする。 我々は、スナップショットベースのバージョントラッキング、専用の古ログモデル、部分的なロールアウト中断による同期の3つの正確な古ログ取得戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-12T12:57:55Z)
• Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
  大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-04-15T18:46:35Z)
• See Less, Drive Better: Generalizable End-to-End Autonomous Driving via Foundation Models Stochastic Patch Selection [51.59559387222532]
  エンドツーエンド自動運転の最近の進歩は、パッチアライメント機能で訓練されたポリシーが、アウト・オブ・ディストリビューション(OOD)よりも一般化していることを示している。 我々は、より堅牢で、一般化可能で、効率的な学習ポリシーのためのシンプルで効果的なアプローチである2.4-Patch-Selection(SPS)を提案する。
  論文  参考訳（メタデータ） (2026-01-15T18:58:33Z)
• Moments Matter:Stabilizing Policy Optimization using Return Distributions [9.430246534202857]
  連続制御タスクでは、小さなパラメータシフトでさえ不安定な歩行を生み出す。 環境に配慮した代替案を提案する。
  論文  参考訳（メタデータ） (2026-01-05T05:27:11Z)
• A2PO: Towards Effective Offline Reinforcement Learning from an Advantage-aware Perspective [29.977702744504466]
  本稿では,オフライン学習におけるアドバンテージ・アウェア政策最適化(A2PO)手法を提案する。 A2POは条件付き変分自動エンコーダを用いて、絡み合った行動ポリシーの動作分布をアンタングルする。 D4RLベンチマークの単一品質データセットと混合品質データセットの両方で実施された実験では、A2POがA2POよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-12T02:43:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。