論文の概要: PreSO: Privileged Representation Isolation for On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2610.14001v1
• Date: Sun, 27 Sep 2026 08:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.458844
• Title: PreSO: Privileged Representation Isolation for On-Policy Self-Distillation
• Title（参考訳）: PreSO:On-Policy Self-Distillationのためのプリビリー表現分離
• Abstract要約: 再利用可能なガイダンスとして,クロスプロブレムの再発を経験的手がかりとして用いた。 オンデマンド自己蒸留(PreSO)のための主観的表現分離法を提案する。
• 参考スコア（独自算出の注目度）: 35.361463371326515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-policy self-distillation (OPSD) uses a self-teacher conditioned on privileged information to turn the sparse outcome signal of reinforcement learning with verifiable rewards (RLVR) into dense token-level supervision. Yet the teacher's advantage may depend on information unavailable to the student at inference, raising a central question: which privileged changes are worth distilling? We use cross-problem recurrence as an empirical cue for potentially reusable guidance. Comparing the representation shifts induced by full solutions and compact hints, we find that hint-induced shifts are more concentrated and directionally consistent across problems, and yield more sustained downstream gains despite revealing less information. Motivated by this association, we propose Privileged Representation Isolation for On-Policy Self-Distillation (PreSO). At the source, PreSO uses compact hints to limit the solution-specific detail entering the privileged shift. At the target, it estimates a leading low-rank subspace from shifts pooled across related problems, projects the privilege-induced correction onto this subspace, and adds it to the student's unprivileged representation to form the representation-level distillation target. The selected subspace serves as an operational proxy for recurring structure, rather than a guaranteed separation of transferable and instance-specific information. On five competition-level mathematics benchmarks, PreSO consistently outperforms strong baselines across Qwen3-1.7B, 4B, and 8B, improving average accuracy over the base model by 6.8, 9.0, and 10.0 points. Beyond peak accuracy, PreSO attains the highest final-checkpoint average at every model scale, with improvements that persist through the end of training.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、特権情報に条件付けされた自己教師を用いて、証明可能な報酬(RLVR)で強化学習のスパースな結果信号(sparse outcome signal)を高密度トークンレベルの監視に変換する。 しかし、教師のアドバンテージは、推論時に学生に入手できない情報に依存し、どの特権的変化が蒸留に値するのかという中心的な疑問を提起する。 再利用可能なガイダンスとして,クロスプロブレムの再発を経験的手がかりとして用いた。 完全解とコンパクトなヒントによって引き起こされる表現シフトを比較すると、ヒントによって引き起こされるシフトは問題に対してより集中的かつ方向整合性があり、情報が少ないにもかかわらずより持続的な下流のゲインが得られることが分かる。 本研究の目的は,プリビリード表現分離法(Privleged RepresentationIsolateation for On-Policy Self-Distillation, PreSO)を提案することである。 ソースでは、PreSOはコンパクトなヒントを使用して、特権シフトに入るソリューション固有の詳細を制限する。 ターゲットでは、関連する問題にまたがってプールされたシフトから上位の低ランクのサブスペースを推定し、特権による修正をこのサブスペースに投影し、生徒の特権のない表現に追加し、表現レベル蒸留ターゲットを形成する。 選択されたサブスペースは、転送可能な情報とインスタンス固有の情報の分離を保証するのではなく、構造を繰り返すためのオペレーションプロキシとして機能する。 競合レベルの5つのベンチマークでは、PreSOはQwen3-1.7B, 4B, 8Bをまたいだ強力なベースラインを一貫して上回り、ベースモデルの精度を6.8, 9.0, 10.0ポイント向上させた。 ピーク精度を超えて、PreSOは、トレーニングの終了まで継続する改善とともに、各モデルスケールで最高の最終チェックポイント平均に達する。

関連論文リスト

• VASPO: Self-Distillation with Privileged Value Estimation [26.104070397307595]
  オンラインの自己蒸留は、特権的な自己教育者を通じて、推論モデルに対する厳密な監督を提供する。 近年の手法では、この信号をGRPOと組み合わせている。 PPO内でより効果的な統合を実証する。
  論文  参考訳（メタデータ） (2026-10-14T17:17:18Z)
• Function-Space Temporal Self-Distillation for Policy Optimization [14.075051480473329]
  機能空間政策最適化(FSPO)は,現在の特権適応と関数空間の時間的統合を組み合わせた単一政治フレームワークである。 FSPOは, 教師モデルを維持することなく, 時間的目標の固定化を図り, 時間的分離を図っている。 5時間のトレーニング予算の下では最高の平均精度を達成し、最強のベースラインを平均で約4%改善し、Olmo3-7B-Instructではピークメモリを約70GBから56GBに削減した。
  論文  参考訳（メタデータ） (2026-10-14T07:10:49Z)
• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• Teach Yourself Where to Look: On-Policy Attention Self-Distillation for Reasoning [5.87050475730812]
  自衛隊の自衛隊は、認証されたソリューションにアクセス可能な特権教師からの密集したトークン配布指導を用いて、自衛隊の自衛隊のモデルを推論する。 我々は, トークンレベルの監視と, 溶液条件の注意蒸留を補完する, OPASD(On-Policy Attention Self-Distillation)を導入する。 OPASDはトークンのみのOPSDを一貫して上回り、平均精度は4.98から8.40ポイント向上した。
  論文  参考訳（メタデータ） (2026-09-27T04:38:41Z)
• Is More Privileged Information Better? From Solution Traces to Problem-Solving Structure in Self-Distilled Reasoning [17.645367206348222]
  オンライン自己蒸留は、参照ソリューションに条件付けられたモデルの特権ビューを使用して、質問のみを観察する学生の視点を監督することにより、推論を改善する。 本稿では,初期状態,目標条件,制約条件,選択された状態遷移経路を記述したトラジェクトリ・グラウンドのガイダンスで,完全な解法を置き換えた問題空間誘導OPSD(PS-OPSD)を提案する。
  論文  参考訳（メタデータ） (2026-08-03T01:47:25Z)
• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
  大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。 近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。 ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
  論文  参考訳（メタデータ） (2026-04-29T11:56:07Z)
• Self-Distilled RLVR [57.37526213765131]
  特権教師からのみ派生した学習信号が,情報漏洩と不安定な長期学習をもたらすことを示す。 textbfSelf-textbfDistillationを用いたtextbfRLSD(textbfRLVR)を提案する。 これにより、RSSDはRLVRとOPSDの両方の強度を同時に利用でき、高い収束天井と優れたトレーニング安定性を実現することができる。
  論文  参考訳（メタデータ） (2026-04-03T15:50:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。