論文の概要: When Clipping Reverses Correction: Failure Dynamics of Pointwise Forward-KL On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.38995v1
• Date: Wed, 30 Sep 2026 05:10:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.203437
• Title: When Clipping Reverses Correction: Failure Dynamics of Pointwise Forward-KL On-Policy Self-Distillation
• Title（参考訳）: クリッピングの逆補正: 点方向のKLオンポリシィ自己蒸留の故障ダイナミクス
• Abstract要約: クリップされた実行は、未切断の実行よりも応答の終了まで継続する、はるかに多くの繰り返しを生成することを示す。 切り取られた目的は、教師に向かって生徒を正すのに失敗する可能性があり、代わりに切り取られたトークンの確率を教師から遠ざけることができることを実証する。
• 参考スコア（独自算出の注目度）: 37.03306024340649
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation (OPSD) trains a student on its own generated responses using feedback from the same model conditioned on privileged information. On mathematical reasoning, the original OPSD study finds that stylistic tokens can dominate the training signal over math-related tokens, and that pointwise clipping of the forward KL objective stabilizes training. Pointwise clipping caps each vocabulary-wise forward KL term at a fixed threshold before summing over the vocabulary. Follow-up studies have adopted this clipping, but its effect on training has not been directly examined. In matched training runs differing only in whether clipping is applied, we observe that clipped runs produce substantially more repetitions that persist to the end of the response than their unclipped counterparts. We trace this failure to the clipped objective. We prove that the clipped objective can fail to correct the student toward the teacher and can instead push clipped and unclipped token probabilities away from its teacher. Our training runs agree with this analysis: inside repetitions, the clipped student places less probability than its teacher on leaving the repetition, and more on continuing it, whereas the unclipped runs stay close to their teachers.
• Abstract（参考訳）: On-policy Self-distillation (OPSD) は、特権情報に基づく同じモデルからのフィードバックを用いて、生徒に独自の反応を訓練する。 数学的推論において、元のOPSD研究は、スタイリスティックトークンが数学関連のトークンよりもトレーニング信号を支配し、前方KL目標のポイントワイドクリッピングがトレーニングを安定化させることを示した。 ポイントワイドクリッピングキャップは、各語彙右前方のKL項を、語彙を要約する前に一定の閾値で表す。 フォローアップ研究はこのクリッピングを採用したが、トレーニングに対する効果は直接的に調べられていない。 一致したトレーニング実行では、クリッピングが適用されるかどうかのみが異なる場合、クリッピングされた実行は、未クリッピングされた実行よりも応答の最後に持続する、はるかに多くの繰り返しを生成することが観察される。 私たちはこの失敗を切り取られた目標まで辿った。 切り取られた目的は、教師に向かって生徒を正すのに失敗する可能性があり、代わりに切り取られたトークンの確率を教師から遠ざけることができることを実証する。 私たちのトレーニングは、この分析と一致します。繰り返しの繰り返しの中で、クリップされた生徒は、繰り返しを離れる確率を教師より低く設定します。

関連論文リスト

• Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives [51.632660339442616]
  複数の教員からの連続蒸留について検討し,そこでは学生が教師からの平均的な分散を最小限に抑える。 オフ・ポリティクスとオン・ポリティクスのフィードバックの下でこれらの目標を学習するアルゴリズムを開発する。 OPDの利点と脆弱性の両方を説明するのに役立つメカニズムを同定する。
  論文  参考訳（メタデータ） (2026-09-29T23:47:58Z)
• What Shared Prefixes Hide: Trajectory Dropout for On-Policy Distillation [17.676705850864103]
  共有プレフィックスがトークンレベルの更新を弱める可能性があることが分かりました。 生徒の信頼度の高さは、教師が反対しても補正勾配を弱めることがある。 我々はこれらの弱化信号を公開する簡単な訓練時間介入であるトラジェクトリ・ドロップアウトを提案する。
  論文  参考訳（メタデータ） (2026-09-27T11:08:31Z)
• Leaky Students: Membership Inference against On-Policy Distillation [9.526055673825544]
  その結果,新入生トラジェクトリは,参照-回答損失を固定するスパースメンバーシップシグナルを露呈することがわかった。 ターゲットモデルから新しいトラジェクトリを抽出し,トークンログの確率と一致した参照モデル間の最大値を比較する。 これはLeaky ReLUを結果のギャップに適用し、非メンバーにおける偶発的正のギャップの近似的補正として正のギャップを保ち、負のギャップを下げる。
  論文  参考訳（メタデータ） (2026-09-27T03:06:54Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning [12.363923974156636]
  検証可能な報酬からの強化学習は、ロールアウト毎に1つのスカラーを割り当てる。 オンラインの自己蒸留は、特権情報に基づいて同じモデルを教師として振る舞うことでこの問題に対処する。 本研究では,教師がピアロールアウトに成功したことを条件に,HSD(Hindsight Self-Distillation)を提案する。
  論文  参考訳（メタデータ） (2026-06-14T03:37:27Z)
• Less is More: Early Stopping Rollout for On-Policy Distillation [39.392596318514244]
  早期停止ロールアウト(Early Stopping Rollout, ESR)は, ロールアウト生成を第1応答トークンに限定した簡易かつ効果的な蒸留戦略である。 その結果,ESRはモデルサイズ,家族,タスク,トレーニング体制全体にわたって,フルロールアウトのOPD性能を上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-05-26T13:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。