論文の概要: Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2607.10805v1
• Date: Sun, 12 Jul 2026 15:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.545689
• Title: Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation
• Title（参考訳）: On-Policy Self-Distillation の診断と誤診
• Abstract要約: 大規模言語モデル(LLM)の強化と整合のための重要なパラダイムとして、オンデマンド自己蒸留(OPSD)が登場している。 OPSDは複雑な推論タスクにおいて、ダウンストリームのパフォーマンスをパラドックス的に低下させる。 自己蒸留目標を動的に緩和する頑健な制御フレームワークであるtextbf Dual-Perspective OPSD (AD-OPSD) を提案する。
• 参考スコア（独自算出の注目度）: 21.932079347631632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-Policy Self-Distillation (OPSD) has emerged as a crucial paradigm for enhancing and aligning Large Language Models (LLMs). However, in complex reasoning tasks, OPSD paradoxically degrades downstream performance. In this paper, we systematically investigate this pathology and identify a severe optimization trap we define as \textbf{Thinking Collapse} -- a sharp decline in the model's native intermediate reasoning behavior, measured by epistemic-token density (ET per 1k). Through entropy-based gradient masking and token-level target analysis, we show that this collapse is triggered by aggressive teacher gradients at high-student-entropy decision forks, where student epistemic tokens are frequently suppressed into teacher non-epistemic targets and are highly concentrated in high pointwise student-teacher divergence regions. To resolve this optimization pathology, we propose \textbf{Adaptive Dual-Perspective OPSD (AD-OPSD)}, a robust control framework that dynamically moderates the self-distillation objective. AD-OPSD selectively anchors high-suppression-risk sandboxed tokens to a reference prior derived from the frozen base model via an asymmetrical pointwise divergence gate, preserving native thinking capacity while retaining OPSD's error-correcting power. Extensive experiments across competitive mathematical benchmarks show that AD-OPSD improves over standard OPSD by up to \textbf{+4.1\%} absolute average accuracy across diverse model scales and datasets. Further analysis demonstrates that AD-OPSD mitigates thinking collapse and generalizes robustly to different post-training paradigms.
• Abstract（参考訳）: On-Policy Self-Distillation (OPSD) は、LLM(Large Language Models)の強化と整合のための重要なパラダイムとして登場した。 しかし、複雑な推論タスクでは、OPSDは下流のパフォーマンスをパラドックス的に低下させる。 本稿では,この病理学を体系的に検討し,<textbf{Thinking Collapse} と定義する厳密な最適化トラップを同定する。 エントロピーに基づくグラデーションマスキングとトークンレベルの目標分析を通じて、この崩壊は、高学生・エントロピー決定フォークにおける攻撃的な教師勾配によって引き起こされることを示す。 そこで本稿では, 自己蒸留の目的を動的に緩和する頑健な制御フレームワークである, OPSD (Adaptive Dual-Perspective OPSD) を提案する。 AD-OPSDは、非対称なポイントワイド分岐ゲートを介して凍結ベースモデルから派生した参照基準に高圧縮リスクサンドボックストークンを選択的に固定し、OPSDの誤り訂正力を維持しながらネイティブ思考能力を維持する。 競争力のある数式ベンチマークによる大規模な実験により、AD-OPSDは標準OPSDよりも、様々なモデルスケールとデータセットの絶対平均精度を最大4.1\%まで改善することが示された。 さらなる分析により、AD-OPSDは思考の崩壊を緩和し、異なる訓練後のパラダイムにしっかりと一般化することが示された。

関連論文リスト

• IADD-TR: Intervention-Aware Dynamics Decoupling with Targeted Regularization for Model-Based Reinforcement Learning [57.16513298507272]
  IADD-TRは、IADD(Intervention-Aware Dynamics Decoupling)とTR(Targeted Regularization)を組み合わせた統合フレームワークである。 IADDは、ゼロアクションアンカーを用いて、アクション干渉段階とアクションフリー自然進化段階への遷移を分解し、堅牢な一般化のためにこの2段階の分解の非特異性を解決する。 政策学習においては,リプレイ状態の政策段階関数の効率的な影響関数からTRを導出する。
  論文  参考訳（メタデータ） (2026-08-11T08:20:02Z)
• Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
  オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。 まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。 第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
  論文  参考訳（メタデータ） (2026-07-02T14:33:07Z)
• RLCSD: Reinforcement Learning with Contrastive On-Policy Self-Distillation [46.554172283247915]
  オンライン自己蒸留は、推論モデルに対する密集したトークンレベルの監督を提供する。 この分布ギャップから引き出された学習信号は、タスクを持つものよりもスタイルトークンに集中していることが示される。 我々は,このドリフトを緩和するためのtextbfRLCSD (Reinforcement Learning with Contrastive on-policy Self-Distillation) を提案する。
  論文  参考訳（メタデータ） (2026-06-10T06:31:59Z)
• Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning [41.384652481442735]
  我々は,一様教師模倣からエントロピー制御された指向性監視へと特権的な自己蒸留を再構成するtextbfDirection-Adaptive Self-Distillation (textbfDASD)を提案する。 6つの数学的推論ベンチマークで、DASDは強力なRLVRと自己蒸留ベースラインよりも優れたマクロAvg@16を達成する。
  論文  参考訳（メタデータ） (2026-05-21T10:07:46Z)
• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• Early Decisions Matter: Proximity Bias and Initial Trajectory Shaping in Non-Autoregressive Diffusion Language Models [54.16797570104461]
  拡散ベースの言語モデル (dLLMs) は自己回帰型言語モデルに代わる有望な代替品として登場した。 時間軸に沿った推論ダイナミクスを系統的に解析し, dLLMの非自己回帰復号化について検討した。
  論文  参考訳（メタデータ） (2026-04-12T10:26:41Z)
• Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings [7.554296968064274]
  検証リワード(RLVR)を用いた強化学習のための階層型ポリシー最適化(HAPO)を提案する。 HAPOは、障害時に教師のデモンストレーションに最適化を選択的にアンカーする、後ろ向きのメカニズムを採用している。 HAPOは,政策改善に伴う教師の信号のアニールを自然に行うことで,非バイアスのオン・ポリティクス勾配を回復する。
  論文  参考訳（メタデータ） (2026-03-11T21:33:41Z)
• Interpretable Maximum Margin Deep Anomaly Detection [10.25312830872628]
  異常検出は広範囲のアプリケーションにおいて重要な機械学習タスクである。 我々はIMD-AD(Maximum Interpretable Margin Deep Anomaly Detection)を提案する。
  論文  参考訳（メタデータ） (2026-03-07T07:06:45Z)
• Amortized Reasoning Tree Search: Decoupling Proposal and Decision in Large Language Models [2.5170433424424874]
  Reinforcement Learning with Verifiable Rewardsは、大規模言語モデルにおける厳格な推論能力を取り入れるための支配的なパラダイムとして、自らを確立している。 このアライメントプロセスにおいて重要な病理は、有効だが稀な(ベースモデル分布下での低様相)推論経路の体系的抑制である。 本稿では,ベースモデルの潜伏多様性を捨てることなく,この崩壊を防止すべく,ARTS(Amortized Reasoning Tree Search)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T11:52:50Z)
• On the Plasticity and Stability for Post-Training Large Language Models [54.757672540381236]
  塑性と安定性勾配の矛盾として根本原因を同定する。 本稿では,確率的衝突解決法(PCR)を提案する。 PCRはトレーニングの軌道を著しく滑らかにし、様々な推論タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-02-06T07:31:26Z)
• On The Presence of Double-Descent in Deep Reinforcement Learning [43.22339935902436]
  二重降下パラドックスは深部強化学習(DRL)の非定常領域においてほとんど探索されていない。 本稿では, DDがモデルフリーDRLに存在することを示す予備的証拠として, Actor-Critic フレームワークを用いて, 様々なモデルキャパシティを体系的に調査する。 これらの知見は、DDをDRLの因子として確立し、より汎用的で、転送可能で、堅牢なエージェントを設計するための情報ベースのメカニズムを提供する。
  論文  参考訳（メタデータ） (2025-11-10T09:45:03Z)
• Improving Domain Generalization in Self-supervised Monocular Depth Estimation via Stabilized Adversarial Training [61.35809887986553]
  我々は、SCAT(stabilized Conflict-Optimization Adversarial Training)という、汎用的な敵訓練フレームワークを提案する。 SCATは、安定性と一般化のバランスを達成するために、敵データ拡張を自己教師付きMDE手法に統合する。 5つのベンチマーク実験により、SCATは最先端の性能を達成でき、既存の自己監督型MDE法の一般化能力を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2024-11-04T15:06:57Z)
• Towards Understanding the Robustness of Diffusion-Based Purification: A Stochastic Perspective [65.10019978876863]
  拡散性浄化(DBP)は、敵の攻撃に対する効果的な防御機構として出現している。 本稿では,DBPプロセスの本質性がロバスト性を駆動する主要な要因であることを示す。
  論文  参考訳（メタデータ） (2024-04-22T16:10:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。