論文の概要: Geometric Self-Distillation for Reasoning Generalization

• arxiv url: http://arxiv.org/abs/2607.06855v1
• Date: Tue, 07 Jul 2026 23:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.237058
• Title: Geometric Self-Distillation for Reasoning Generalization
• Title（参考訳）: 推論一般化のための幾何学的自己蒸留
• Authors: Josip Jukić, Ivan Titov,
• Abstract要約: オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
• 参考スコア（独自算出の注目度）: 12.38444431260744
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy distillation is a practical post-training recipe for large language models, supplying dense teacher supervision on the student's own trajectories. In privileged-context self-distillation, teacher and student are the same model conditioned on the same prefix, but the teacher also sees a hint or the full solution trace. This makes supervision abundant but harder to trust: the teacher can be confident about continuations its privileged view makes obvious but the student cannot yet justify. The distillation pull is strongest where teacher and student disagree most, and over many updates it accumulates into drift that degrades out-of-distribution (OOD) reasoning. We introduce GeoSD, a geometric self-distillation objective that treats this drift as movement in the student's predictive behavior and counters it in two complementary ways. A Hellinger loss scales each teacher preference by the overlap the student already shares with it, attenuating the pull on tokens the student cannot yet support. Since these pulls still compound over training, a proximal term penalizes how far the student's predictions drift from a recent checkpoint, measured as a Fisher-Rao distance. Both are distances in the same geometry of next-token distributions, and a natural-gradient update takes its steps in that geometry rather than in parameter space. Across mathematical reasoning benchmarks and three model families, GeoSD preserves the in-distribution gains of self-distillation while improving average OOD accuracy by 5.7-8.6 points over the base model, with gains holding across model scales from 1.7B to 32B. Analyzing why standard matching fails out of distribution, we find it wins agreement with the teacher by draining mass from alternatives at high-entropy states, resulting in confident agreement on wrong answers, whereas GeoSD keeps those alternatives in reach.
• Abstract（参考訳）: オンライン蒸留は、大規模な言語モデルのための実践的な訓練後のレシピであり、学生自身の軌跡に密集した教師の監督を提供する。 特権的文脈による自己蒸留では、教師と生徒は同じ接頭辞で条件付けられたモデルであるが、教師はヒントや完全な解の痕跡も見ることができる。 教師は、その特権的な見解の継続に自信を持つことは明らかだが、学生はまだ正当化できない。 蒸留プルは、教師と学生が最も意見が一致せず、多くの更新によってドリフトに蓄積され、アウト・オブ・ディストリビューション(OOD)推論が低下する。 この流れを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを導入し,2つの相補的な方法でそれに対応する。 Hellingerの損失は、生徒がすでに共有している重複によって各教師の好みをスケールし、学生がまだサポートしていないトークンのプルを減らします。 これらのプルはまだ訓練中に複雑になるため、近位項は、フィッシャー・ラオ距離として測定された最近のチェックポイントから学生の予測がどれくらいドリフトするかを罰する。 どちらも次トーケン分布の同じ幾何学における距離であり、自然な漸進的な更新はパラメータ空間ではなくその幾何学におけるステップを踏む。 数学的推論ベンチマークと3つのモデルファミリ全体で、GeoSDは自己蒸留の非分配的な利得を保ち、平均OOD精度をベースモデルよりも5.7-8.6ポイント向上させ、モデルスケールを1.7Bから32Bまで保持する。 標準マッチングが分布から外れた理由を分析すると、高エントロピー状態の代替品からマスを抽出することで教師との合意が得られ、誤った回答に確実な合意が得られたのに対し、GeoSDはそれらの代替品を手元に置いている。

関連論文リスト

• DemoPSD: Disagreement-Modulated Policy Self-Distillation [49.30809363804017]
  大規模言語モデルを訓練するための実践的な方法として、オンデマンド自己蒸留が登場している。 DemoPSDは、教師と生徒の分布の重み付けされた幾何学的組み合わせに向けて学生を操縦する。
  論文  参考訳（メタデータ） (2026-07-02T17:58:29Z)
• Your Teacher Can't Help You Here: Combating Supervision Fidelity Decay in On-Policy Distillation [81.10000755917712]
  オンライン蒸留は,教師からのトークンレベルのフィードバックを用いて,学生モデルを自作の軌道上で訓練することにより,推論能力を伝達する。 生徒が生成した接頭辞が長くなるにつれて、教師の次点の分布は自信を減らし、差別性が低下する。 SFDを緩和するため, textbfLookahead Group Reward (ours) を導入する。
  論文  参考訳（メタデータ） (2026-05-29T04:39:20Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information [22.436966302243565]
  本稿では,学生と教師の相違を増す反自己蒸留法を提案する。 AntiSDはGRPOベースラインの精度を2倍から10倍にし、最終精度を最大11.5ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-12T06:40:43Z)
• Reasoning Compression with Mixed-Policy Distillation [20.7258653384411]
  推論中心の大規模言語モデルは、しばしば過剰なトークンの使用と推論時復号コストを発生させる。 我々は,大規模教師から小学生に簡潔な推論行動を伝達する推論圧縮フレームワークであるMixed-Policy Distillation (MPD)を提案する。 MPDはトークンの使用量を最大27.1%削減し、複数の推論ベンチマークのパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-05-09T08:04:47Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Long-Chain Reasoning Distillation via Adaptive Prefix Alignment [57.130176131042965]
  本稿では,教師のCoTを適応的接頭辞アライメントによる蒸留に活用するフレームワークを提案する。 P-ALIGNは、残りの接尾辞が簡潔かどうかを判断することで、教師生成の推論軌道を適応的に切り離す。 複数の数学的推論ベンチマークの実験では、P-ALIGNはすべてのベースラインを3%以上上回っている。
  論文  参考訳（メタデータ） (2026-01-15T04:40:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。