論文の概要: Geometric Self-Distillation for Reasoning Generalization
- arxiv url: http://arxiv.org/abs/2607.06855v1
- Date: Tue, 07 Jul 2026 23:16:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.237058
- Title: Geometric Self-Distillation for Reasoning Generalization
- Title（参考訳）: 推論一般化のための幾何学的自己蒸留
- Abstract要約: オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。
特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。
我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
- 参考スコア（独自算出の注目度）: 12.38444431260744
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: On-policy distillation is a practical post-training recipe for large language models, supplying dense teacher supervision on the student's own trajectories. In privileged-context self-distillation, teacher and student are the same model conditioned on the same prefix, but the teacher also sees a hint or the full solution trace. This makes supervision abundant but harder to trust: the teacher can be confident about continuations its privileged view makes obvious but the student cannot yet justify. The distillation pull is strongest where teacher and student disagree most, and over many updates it accumulates into drift that degrades out-of-distribution (OOD) reasoning. We introduce GeoSD, a geometric self-distillation objective that treats this drift as movement in the student's predictive behavior and counters it in two complementary ways. A Hellinger loss scales each teacher preference by the overlap the student already shares with it, attenuating the pull on tokens the student cannot yet support. Since these pulls still compound over training, a proximal term penalizes how far the student's predictions drift from a recent checkpoint, measured as a Fisher-Rao distance. Both are distances in the same geometry of next-token distributions, and a natural-gradient update takes its steps in that geometry rather than in parameter space. Across mathematical reasoning benchmarks and three model families, GeoSD preserves the in-distribution gains of self-distillation while improving average OOD accuracy by 5.7-8.6 points over the base model, with gains holding across model scales from 1.7B to 32B. Analyzing why standard matching fails out of distribution, we find it wins agreement with the teacher by draining mass from alternatives at high-entropy states, resulting in confident agreement on wrong answers, whereas GeoSD keeps those alternatives in reach.
- Abstract（参考訳）: オンライン蒸留は、大規模な言語モデルのための実践的な訓練後のレシピであり、学生自身の軌跡に密集した教師の監督を提供する。
特権的文脈による自己蒸留では、教師と生徒は同じ接頭辞で条件付けられたモデルであるが、教師はヒントや完全な解の痕跡も見ることができる。
教師は、その特権的な見解の継続に自信を持つことは明らかだが、学生はまだ正当化できない。
蒸留プルは、教師と学生が最も意見が一致せず、多くの更新によってドリフトに蓄積され、アウト・オブ・ディストリビューション(OOD)推論が低下する。
この流れを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを導入し,2つの相補的な方法でそれに対応する。
Hellingerの損失は、生徒がすでに共有している重複によって各教師の好みをスケールし、学生がまだサポートしていないトークンのプルを減らします。
これらのプルはまだ訓練中に複雑になるため、近位項は、フィッシャー・ラオ距離として測定された最近のチェックポイントから学生の予測がどれくらいドリフトするかを罰する。
どちらも次トーケン分布の同じ幾何学における距離であり、自然な漸進的な更新はパラメータ空間ではなくその幾何学におけるステップを踏む。
数学的推論ベンチマークと3つのモデルファミリ全体で、GeoSDは自己蒸留の非分配的な利得を保ち、平均OOD精度をベースモデルよりも5.7-8.6ポイント向上させ、モデルスケールを1.7Bから32Bまで保持する。
標準マッチングが分布から外れた理由を分析すると、高エントロピー状態の代替品からマスを抽出することで教師との合意が得られ、誤った回答に確実な合意が得られたのに対し、GeoSDはそれらの代替品を手元に置いている。
関連論文リスト
- OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation [15.986808086256792]
プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。
この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。
我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
論文 参考訳（メタデータ） (2026-09-15T00:25:28Z) - One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation [3.0867286767516937]
オンライン蒸留は、教師がトークンでトークンをスコアする間、自身の世代で言語モデルを訓練する。
教師はモデル自身であり、テスト時に生徒が持たない特権情報に基づいている。
初期の結果は有望であり、生成したトークンのごく一部で強化学習に匹敵する精度であった。
しかし、信号を生成するのと同じ非対称性もそれをバイアスする。
論文 参考訳（メタデータ） (2026-08-26T15:52:19Z) - PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation [1.1440940588722308]
On-policy Self-distillation (OPSD) は、特権教師を用いて、自身のロールアウトからサンプリングされたプレフィックスの推論モデルを監督する。
PAST(Privleged Adaptation from Students Trajectories)を紹介する。
PASTは、学生の蒸留プレフィックスをそのまま残しながら、各学生軌跡をOPSD教師に追加の特権情報として扱う。
論文 参考訳（メタデータ） (2026-08-09T14:20:12Z) - DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。
DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
論文 参考訳（メタデータ） (2026-07-02T17:58:29Z) - Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。
生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。
SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
論文 参考訳（メタデータ） (2026-05-29T04:39:20Z) - Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。
我々は、この原則を軌跡固有のリリースルールで運用する。
強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
論文 参考訳（メタデータ） (2026-05-13T15:05:30Z) - Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
本稿では,学生と教師の相違を増す反自己蒸留法を提案する。
AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
論文 参考訳（メタデータ） (2026-05-12T06:40:43Z) - Reasoning Compression with Mixed-Policy Distillation [20.7258653384411]
推論中心の大規模言語モデルは、しばしば過剰なトークンの使用と推論時復号コストを発生させる。
我々は,大規模教師から小学生に簡潔な推論行動を伝達する推論圧縮フレームワークであるMixed-Policy Distillation (MPD)を提案する。
MPDはトークンの使用量を最大27.1%削減し、複数の推論ベンチマークのパフォーマンスを改善している。
論文 参考訳（メタデータ） (2026-05-09T08:04:47Z) - Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
Prune-OPDはトレーニング予算と監督品質を動的に調整する。
トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-05-08T14:38:53Z) - Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。
P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。
複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
論文 参考訳（メタデータ） (2026-01-15T04:40:45Z) - Warmup-Distill: Bridge the Distribution Mismatch between Teacher and Student before Knowledge Distillation [84.38105530043741]
本稿では, 学生の蒸留を教員の蒸留と整合させて, 蒸留に先立って行うワームアップ蒸留法を提案する。
7つのベンチマークの実験は、ウォームアップ・ディスティルが蒸留に適したウォームアップの学生を提供することを示した。
論文 参考訳（メタデータ） (2025-02-17T12:58:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。