論文の概要: Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?

• arxiv url: http://arxiv.org/abs/2603.24472v1
• Date: Wed, 25 Mar 2026 16:14:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.381229
• Title: Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
• Title（参考訳）: なぜ自己蒸留(時折)はLDMの共振性能を低下させるのか?
• Abstract要約: 自己蒸留は、性能を低下させながら応答長を減少させる。 教師に豊かな情報を与えると不確実性表現が抑制されることを示す。 この結果から, 適切な不確実性のレベルを明らかにすることが, 堅牢な推論に不可欠であることが示唆された。
• 参考スコア（独自算出の注目度）: 33.572120290211316
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-distillation has emerged as an effective post-training paradigm for LLMs, often improving performance while shortening reasoning traces. However, in mathematical reasoning, we find that it can reduce response length while degrading performance. We trace this degradation to the suppression of epistemic verbalization - the model's expression of uncertainty during reasoning. Through controlled experiments varying conditioning context richness and task coverage, we show that conditioning the teacher on rich information suppresses uncertainty expression, enabling rapid in-domain optimization with limited task coverage but harming OOD performance, where unseen problems benefit from expressing uncertainty and adjusting accordingly. Across Qwen3-8B, DeepSeek-Distill-Qwen-7B, and Olmo3-7B-Instruct, we observe performance drops of up to 40%. Our findings highlight that exposing appropriate levels of uncertainty is crucial for robust reasoning and underscore the importance of optimizing reasoning behavior beyond merely reinforcing correct answer traces.
• Abstract（参考訳）: 自己蒸留はLLMの効果的なポストトレーニングパラダイムとして登場し、多くの場合、推論トレースを短縮しながら性能を改善している。 しかし, 数学的推論では, 性能を劣化させながら応答長を低減できることがわかった。 我々は,この劣化を,認識的言語化の抑制,すなわち推論中の不確かさのモデルによる表現に遡る。 条件付きコンテキストの豊かさとタスクカバレッジの異なる制御実験を通して、教師がリッチな情報に条件を付けることで不確実性表現が抑制され、タスクカバレッジが制限されたドメイン内最適化が迅速に実現されるが、不確実性を表現することや、それに応じた調整を行うことによって、未確認の問題が生ずるOOD性能が損なわれることを示す。 Qwen3-8B、DeepSeek-Distill-Qwen-7B、Olmo3-7B-Instructでは、最大40%のパフォーマンス低下が観測された。 以上より, 適切な不確実性のレベルを明らかにすることは, 頑健な推論に不可欠であり, 正解の痕跡を単に補強するだけではなく, 推論行動の最適化の重要性を浮き彫りにしている。

関連論文リスト

• Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning [109.33717747526583]
  大規模言語モデルは、計算コストが高くても意味論的に無効な推論を、能力を超えたタスクで生成する。 textbfCaRL(textbfCapability-textbfaligned textbfReinforcement textbfL)を導入し、振る舞いを機能境界に合わせる。 実験は、タスクの難易度を超えて性能を保ちながら、無駄な推論を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2026-07-31T09:30:33Z)
• Latent Reward Steering: An Adaptive Inference-Time Framework that Implicitly Promotes Cognitive Behaviors in Reasoning LLMs [31.34530174385469]
  Latent Reward Steering (LRS) は、認知行動を促進する適応的な推論時間フレームワークである。 LRSは、中間潜伏状態の品質を推定するために最終回答の正しさによる推論トレースに基づいて潜伏報酬モデルを訓練する。 複数の推論バックボーンとベンチマークの実験では、さまざまなベースラインに対するパフォーマンスが一貫して改善されていることが示されています。
  論文  参考訳（メタデータ） (2026-05-30T13:38:06Z)
• When Is Thinking Enough? Early Exit via Sufficiency Assessment for Efficient Reasoning [52.21239821135325]
  本稿では、効率的な推論のための新しいフレームワークDTSR(Dynamic Thought Sufficiency in Reasoning)を紹介する。 人間のメタ認知にインスパイアされたDTSRは、リフレクションシグナルモニタリングとThought Sufficiency Checkという2つの段階で動作する。 DTSRは推論長を28.9%から34.9%削減し、性能損失を最小限に抑えている。
  論文  参考訳（メタデータ） (2026-04-08T07:56:28Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Addressing Overthinking in Large Vision-Language Models via Gated Perception-Reasoning Optimization [56.59356959631999]
  Gated Perception-Reasoning Optimization (GPRO) は3つの決定経路間で動的に計算をルーティングするメタ推論コントローラである。 GPROは精度と効率を大幅に改善し、最近のスロー思考法よりも優れている。
  論文  参考訳（メタデータ） (2026-01-07T23:05:17Z)
• Incentivizing Consistent, Effective and Scalable Reasoning Capability in Audio LLMs via Reasoning Process Rewards [24.40159537923851]
  音声大言語モデルにおけるロバストでスケーラブルな推論法を開発するための原理的手法を開発した。 MMAU 2.5 Pro と GPT-4o Audio をほぼ上回り、MMSU の推論タスクにおけるほぼ人間レベルの性能を向上する。
  論文  参考訳（メタデータ） (2025-10-23T06:18:10Z)
• Can LLMs Correct Themselves? A Benchmark of Self-Correction in LLMs [57.10533368622962]
  大規模言語モデル(LLM)の自己補正は、推論性能を高める重要な要素として現れる。 本研究では,自己補正戦略の有効性を評価するためのベンチマークであるCorrectBenchを紹介する。 その結果,1) 自己補正手法は, 複雑な推論タスクにおいて, 精度を向上させることが可能であり, 2) 異なる自己補正戦略の混合により, 効率は低下するものの, さらなる改善がもたらされることが明らかとなった。
  論文  参考訳（メタデータ） (2025-10-17T02:40:19Z)
• ARS: Adaptive Reasoning Suppression for Efficient Large Reasoning Language Models [0.0]
  推論抑制(Reasoning Suppression、ARS)は、冗長な推論ステップを動的に抑制する訓練のないアプローチである。 ARSは53%、46.1%、57.9%のトークン、レイテンシ、エネルギー削減を実現し、精度を維持または改善している。
  論文  参考訳（メタデータ） (2025-09-29T20:19:41Z)
• AALC: Large Language Model Efficient Reasoning via Adaptive Accuracy-Length Control [18.273777938294327]
  大きな推論モデル(LRM)は、長いチェーン・オブ・シークレットを生成することで印象的な推論能力を達成する。 我々は、強化学習に組み込まれた軽量で精度の高い長さの報酬であるALCを紹介する。 提案手法は,元の精度を維持したり改善したりしながら,応答長を50%以上削減することを示す。
  論文  参考訳（メタデータ） (2025-06-25T06:29:18Z)
• Automatic Curriculum Expert Iteration for Reliable LLM Reasoning [60.60318625779015]
  幻覚(すなわち、可塑性だが不正確な内容を生成する)と怠慢(すなわち過剰な拒絶や「私は知らない」のデフォルト)は、LLM推論における主要な課題として残る。 幻覚を減らそうとする現在の取り組みは、主に知識に基づくタスクにおける事実的誤りに焦点を当てており、しばしば欠陥推論に関連する幻覚を無視している。 本稿では,LLM推論を強化し,モデルの能力に応答する自動カリキュラムエキスパートイテレーション(Auto-CEI)を提案する。
  論文  参考訳（メタデータ） (2024-10-10T05:43:07Z)
• Learning From Correctness Without Prompting Makes LLM Efficient Reasoner [30.203952806009717]
  大規模言語モデル(LLM)は様々なタスクで優れた性能を示してきたが、幻覚、不誠実な推論、有害な内容などの制限がまだ残っている。 人間のフィードバックや外部ツール,手工芸のプロンプトを不要にする,本質的な自己修正推論フレームワークをLLMに導入する。
  論文  参考訳（メタデータ） (2024-03-28T02:12:49Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。