論文の概要: On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.21561v1
• Date: Fri, 18 Sep 2026 09:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.982044
• Title: On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation
• Title（参考訳）: 反発的・誘惑的な教師について--自己蒸留における行動の正しさの分離
• Abstract要約: 自己蒸留は、特権情報にモデルを適用することによって、密集したトークンレベルの監督を提供する。 本研究では, モデルが特権教師に移行した魅力的な自己蒸留と, 反感的な自己蒸留とを対比して, 推論作業におけるこの効果について検討する。 両方の目的が強固で反対の行動シフトを引き起こすことが分かっています。
• 参考スコア（独自算出の注目度）: 29.20851258960948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation provides dense, token-level supervision by conditioning a model on privileged information and distilling the resulting teacher distribution back into the model. However, privileged information can change not only what the teacher knows, but also how it behaves, entangling correctness-relevant learning signals with unintended behavioral shifts. We study this effect in reasoning tasks by contrasting attractive self-distillation, which moves the model toward a privileged teacher, with repulsive self-distillation, which moves it away from a privileged teacher. We find that both objectives can induce strong and opposing behavioral shifts: attraction suppresses exploratory reasoning and promotes shorter, more confident responses, whereas repulsion increases response length, can trigger unintended switches into a model's latent thinking mode, and ultimately becomes unstable. Motivated by these observations, we study contrastive self-distillation, which combines attraction toward a correct-solution-conditioned teacher with repulsion from an incorrect-solution-conditioned teacher. In contrast to prior work that combines such distillation signals with a GRPO objective, we isolate the self-distillation objective and study its behavior on its own. We find that the shared behavioral shifts of the two teachers largely cancel, leaving a token-level signal that more directly reflects correctness. Across non-thinking, instruct-only, and already-thinking models, this contrastive objective improves reasoning performance while maintaining stable response lengths.
• Abstract（参考訳）: オンライン自己蒸留は、特権情報にモデルを適用し、結果として得られた教師の分布をモデルに戻すことによって、密集したトークンレベルの監督を提供する。 しかし、特権情報は教師が知っていることだけでなく、それがどのように振る舞うかも変化し、意図しない行動変化を伴う正しさ関連学習信号が絡み合わされる。 本研究では, モデルが特権教師へ移行する魅力的な自己蒸留と, 特権教師から遠ざかる反発的な自己蒸留とを対比することにより, タスクの推論においてこの効果を考察する。 アトラクションは探索的推論を抑え、より短くより自信のある応答を促進するが、反発は応答長を増大させ、意図しないスイッチをモデルの潜在的思考モードに誘導し、最終的には不安定になる。 これらの観察により, 正解条件の教師に対する魅力と誤解条件の教師からの反発を組み合わせた, 対照的な自己蒸留を考察した。 このような蒸留信号をGRPOの目的と組み合わせた以前の研究とは対照的に、自己蒸留の目的を分離し、その挙動を独自に研究する。 2人の教師が共有する行動シフトは概ねキャンセルされ、トークンレベルの信号がより直接的に正しさを反映していることが判明した。 非考え、命令のみ、そして既に考えられているモデル全体で、この対照的な目的は、安定した応答長を維持しながら推論性能を改善する。

関連論文リスト

• OPD-Aha: From Linguistic Momentum to Visual Reflection in Multimodal On-Policy Distillation [15.986808086256792]
  プリヴィレグドオン政治蒸留は、教師がリッチで訓練のみの視覚的証拠を用いて学生の軌跡を評価することによってマルチモーダル推論を改善する。 この誤解を招く合意の下では,教師の視覚的矯正的嗜好は失われないことがわかった。 我々は,この分離された視覚的嗜好から直接蒸留ターゲットを再構築するOPD-Ahaを紹介する。
  論文  参考訳（メタデータ） (2026-09-15T00:25:28Z)
• Amplified Does Not Mean Predictive: Reasoning Behaviors in Thinking Models [56.88565331713778]
  推論指向のトレーニングは、モデル正しさに最も結びついている振る舞いを増幅することなく、トレースをより熟考的に見せることができる。 このミスマッチを、モデル推論トレースにおける振る舞いの有無に対して、振舞いがどの程度の正確性を変えるかを測定するメトリクスである振舞いリフトと定量化します。 我々は、思考モデルが自己認識、仮説テスト、不確実性認知を強く増幅する増幅自由ギャップの証拠を見つける。
  論文  参考訳（メタデータ） (2026-08-13T20:37:59Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents? [28.21326355616294]
  エージェント検索のための自己蒸留アルゴリズムであるFA-SDをインスタンス化する。 モデルが反復的推論と探索の出力テンプレートに頼り、多様に見えるが入力問題に大きく依存しない軌跡を生成することを確認した。 自己学習者はより優れた成績を収めるが,非一貫性な指導信号により学習は本質的に不安定であることを示す。
  論文  参考訳（メタデータ） (2026-07-20T05:07:22Z)
• Geometric Self-Distillation for Reasoning Generalization [12.38444431260744]
  オンライン蒸留は、大規模言語モデルの訓練後の実践的なレシピである。 特権的内容の自己蒸留では、教師と学生は同じプレフィックスで条件付けられた同じモデルである。 我々は,このドリフトを学生の予測行動の運動として扱う幾何学的自己蒸留の目的であるGeoSDを紹介する。
  論文  参考訳（メタデータ） (2026-07-07T23:16:19Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning [19.98950359294245]
  本研究は,教師の特権分布を自己の自給自足軌道に沿って蒸留することにより,言語モデルによる推論能力の向上を図ることを目的とする。 OPSDの性能向上にもかかわらず,教師と生徒の反応のミスマッチがよく見過ごされがちである。
  論文  参考訳（メタデータ） (2026-05-12T17:00:53Z)
• Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning [2.9029480541171107]
  そこで我々は, 自己蒸留を推論するための効果的な新しい軸として, 適応型教師曝露を提案する。 適応型自己蒸留(ATESD)は, 競争力のある自己蒸留とRLベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-05-12T03:15:58Z)
• On student-teacher deviations in distillation: does it pay to disobey? [54.908344098305804]
  知識蒸留は「学生」ネットワークのテスト精度を向上させるために広く用いられている。 教師の確率に合うように訓練されているにもかかわらず、生徒は教師の確率から大きく逸脱するだけでなく、パフォーマンスにおいて教師を上回ることもある。
  論文  参考訳（メタデータ） (2023-01-30T14:25:02Z)
• Revisiting Self-Distillation [50.29938732233947]
  自己蒸留とは、大きなモデル(教師)からよりコンパクトなモデル(生徒)に「知識」を移す手順である。 いくつかの作品では、自給自足の生徒が保持されたデータで教師より優れているという逸話がある。 我々は、自己蒸留がより平坦なミニマムをもたらすことを示すための広範な実験を行い、その結果、より良い一般化をもたらす。
  論文  参考訳（メタデータ） (2022-06-17T00:18:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。