論文の概要: PHF: Privileged Hidden Flow for On-Policy Self-Distillation
- arxiv url: http://arxiv.org/abs/2606.29340v1
- Date: Sun, 28 Jun 2026 11:15:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.893098
- Title: PHF: Privileged Hidden Flow for On-Policy Self-Distillation
- Title（参考訳）: PHF: オンデマンド自己蒸留のためのプライビデンド・ハイドドドフロー
- Abstract要約: オンライン自己蒸留は、特権教師とマッチングすることで、独自の方針からサンプリングされたロールアウトの推論モデルを訓練する。
そこで我々は,特権教師の隠された状態が同じロールアウトに沿ってどのように動くかを蒸留するPrivileged Hidden Flowを提案する。
同じ100ステップのトレーニングスケジュールの下で、PHFはQwen3-1.7B, 4B, 8Bで再現されたOPSDベースラインよりも平均@12アグリゲーションを改善し、観測利得は+2.2, +1.5, +1.7ポイントである。
- 参考スコア（独自算出の注目度）: 12.520216206687044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy self-distillation (OPSD) trains a reasoning model on rollouts sampled from its own policy by matching a privileged teacher that also sees verified reference solutions. Existing OPSD objectives supervise only the output distribution, so privileged context affects training through a token-level divergence without directly supervising the internal computation that produced that distribution. We propose Privileged Hidden Flow (PHF), which additionally distills how a privileged teacher's hidden states move along the same rollout. Rather than forcing each student hidden vector to match the teacher vector at the same token position, PHF aligns token-to-token transition directions and trajectory geometry over selected generated positions. The all-layer recipe also includes an adjacent-layer relation computed from these same transitions, without pointwise hidden-state imitation. Under the same 100-step training schedule, PHF improves the Average@12 aggregate over our reproduced OPSD baseline on Qwen3-1.7B, 4B, and 8B, with observed gains of about +2.2, +1.5, and +1.7 points. The transport objective is exactly invariant to shared trajectory offsets; its local geometry term is also invariant to orthogonal transformations of transition directions. Ablations distinguish the fixed PHF recipe from pointwise hidden-state matching, single-channel transition losses, and layer-subset choices, supporting PHF as a compact hidden-flow extension to OPSD.
- Abstract（参考訳）: On-policy Self-distillation (OPSD) は、独自の方針からサンプリングされたロールアウトの推論モデルを訓練する。
既存のOPSDの目的は出力分布のみを監督するため、特権付きコンテキストは、その分布を生成する内部計算を直接監督することなく、トークンレベルの分散によるトレーニングに影響を与える。
我々は,特権教師の隠された状態が同じロールアウトに沿ってどのように動くかを蒸留するPrivileged Hidden Flow (PHF)を提案する。
PHFは、各生徒に同じトークン位置で教師ベクトルに一致するように強制するのではなく、トークンからトークンへの遷移方向と軌道幾何学を、選択した生成位置上で整列させる。
また、全層レシピは、これらの同じ遷移から計算された隣接層関係も含み、点で隠れ状態の模倣は含まない。
同じ100ステップのトレーニングスケジュールの下で、PHFはQwen3-1.7B, 4B, 8Bで再現されたOPSDベースラインよりも平均@12アグリゲーションを改善し、観測利得は+2.2, +1.5, +1.7ポイントである。
輸送対象は共有軌跡オフセットと完全に不変であり、その局所幾何学用語は遷移方向の直交変換にも不変である。
アブレーションは、固定されたPHFレシピを、ポイントワイドな隠れ状態マッチング、単一チャネル遷移損失、層サブセット選択と区別し、OPSDへのコンパクトな隠れフロー拡張としてPHFをサポートする。
関連論文リスト
- UniCycleFlow: Bidirectional Unpaired Image Translation with a Shared Rectified Flow [14.60117153247222]
双方向不対画像変換は, 両方向のコヒーレントな変換をペアの監督なしに学習しながら, ソース固有の構造を保たなければならない。
単時間条件の速度場の前方逆積分として双方向翻訳を表現した整流フローフレームワークUniCycleFlowを提案する。
論文 参考訳（メタデータ） (2026-08-07T04:05:04Z) - DASH: Divergence-Adaptive Supervision Horizons for On-Policy Self-Distillation of Reasoning Models [26.283978881046107]
検証可能な報酬による強化学習は、大きな言語モデルの推論能力を向上させる。
On-policy self-distillationは、学生が訪問する接頭辞で特権教師に問い合わせることで、信号の疎結合を緩和する。
標準のOPSDはロールアウトの時間構造をまだ明らかにしていない。
DASHは各局所蒸留信号とシーケンスレベル平均とのギャップを適応伝搬ゲートにマッピングする。
論文 参考訳（メタデータ） (2026-08-06T16:29:24Z) - dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。
監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。
On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
論文 参考訳（メタデータ） (2026-07-05T17:47:29Z) - Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳（メタデータ） (2026-07-02T14:33:07Z) - GEMS: Geometric Constraints Enable Multi-Semantic Superposition in LLMs [5.018957704056544]
アクティベーションステアリング(Activation steering)は、推論時に中間隠れ状態を変更することで、リトレーニングなしでモデル動作を制御する。
制約なしに複数の意味的方向が重畳されると、モデルは崩壊する。
GEMSは,各ソースを対応する幾何学的制約にマッピングする訓練不要な手法である。
論文 参考訳（メタデータ） (2026-06-18T08:43:33Z) - Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。
オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。
本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
論文 参考訳（メタデータ） (2026-06-14T03:37:27Z) - Reward Transport: Property Control in Flow Matching via Noise-Space Alignment [30.541631728490202]
フローマッチングにおける結合は、学習されたフローフィールドに直接制御可能な構造を埋め込むことができることを示す。
トレーニング時に最適な輸送結合を用いて,スカラーノイズ空間座標を分子報酬と整合させるReward Transportを導入する。
実験的に、ZINC-250K と Guaca 上で、スカラーを網羅すると logP の単調な制御と、その動作範囲に対する一貫した QED 制御が誘導される。
論文 参考訳（メタデータ） (2026-06-13T00:17:15Z) - RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation [46.554172283247915]
オンライン自己蒸留は、推論モデルに対する密集したトークンレベルの監督を提供する。
この分布ギャップから引き出された学習信号は、タスクを持つものよりもスタイルトークンに集中していることが示される。
我々は,このドリフトを緩和するためのtextbfRLCSD (Reinforcement Learning with Contrastive on-policy Self-Distillation) を提案する。
論文 参考訳（メタデータ） (2026-06-10T06:31:59Z) - Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。
本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。
8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
論文 参考訳（メタデータ） (2026-06-02T06:51:15Z) - Self-Distilled Policy Gradient [51.95967256628261]
都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。
SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T02:31:13Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳（メタデータ） (2026-05-01T17:59:59Z) - PAINT: Partial-Solution Adaptive Interpolated Training for Self-Distilled Reasoners [9.324642081509756]
大規模言語モデル(LLM)推論には、モデル自身のテスト時間状態とトークンレベルの情報の両方に整合した監視が必要である。
近年の独占型自己蒸留は,同じモデルによる学生のロールアウトを,検証済みのソリューションコンテキスト下で評価することによって中等地を探索している。
ロールアウト-参照重なりに応じて検証された解を隠蔽し、エントロピー-ミスマッチトークンのスパースセットに小さなエネルギー空間を適用したPAINTを提案する。
論文 参考訳（メタデータ） (2026-04-29T11:56:07Z) - SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。
重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。
実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
論文 参考訳（メタデータ） (2026-03-03T23:51:10Z) - Gradient Variance Reveals Failure Modes in Flow-Based Generative Models [2.4223685315022867]
本稿では, ソース分布とターゲット分布の直線的トラジェクトリを持つ ODE ベクトル場を学習し, ほぼ一段階の推論を可能にすることを示す。
トレーニング補間体が交差しても記憶ベクトル場が存在し、ストレートパスの目的を最適化することが、この未定義の場に収束することを証明する。
論文 参考訳（メタデータ） (2025-10-20T21:37:11Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。