論文の概要: To Reason but Not to Stop: Understanding and Recovering Pruned Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2610.19934v1
• Date: Wed, 14 Oct 2026 10:19:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.100023
• Title: To Reason but Not to Stop: Understanding and Recovering Pruned Large Reasoning Models
• Title（参考訳）: 言い訳するが止めない:大きめの推論モデルの理解と復元
• Abstract要約: 重み付けは大推理モデル(LRM)の精度を低下させることができることがわかった。 本研究では,この方向を残差ストリームに推論時に付加する学習自由手法を提案する。 6つのLRM、3つのプルーニングパイプライン、および数学とコードのベンチマークにおいて、TGASは繰り返し推論と生成長を削減しつつ、終了と全体的な精度を改善している。
• 参考スコア（独自算出の注目度）: 13.27714155774703
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight pruning can degrade the accuracy of large reasoning models (LRMs), yet it remains unclear whether it damages reasoning itself. We find that much of this degradation stems from a failure to stop rather than to reason. As sparsity increases, pruned LRMs increasingly fail to terminate within the token budget, often after the correct answer has appeared in their reasoning, instead falling into repetitive loops, even though they still recognize where the dense model would stop. We further find that the hidden-state difference between terminating and looping continuations is consistent across pruned checkpoints, suggesting a shared direction associated with committing to an answer. Building on this, we propose Termination-Guided Activation Steering (TGAS), a training-free method that adds this direction to the residual stream at inference time. Across six LRMs, three pruning pipelines, and math and code benchmarks, TGAS improves termination and overall accuracy while reducing repetitive reasoning and generation length, showing that this failure is actionable.
• Abstract（参考訳）: 軽量プルーニングは大きな推論モデル(LRM)の精度を低下させることができるが、それが推論自体を損なうかどうかは不明である。 この劣化の大部分は、理由よりもむしろ停止する失敗によるものであることが分かりました。 空間が大きくなるにつれて、プルーニングされたLEMは、しばしば正しい答えが彼らの推論に現れると、トークンの予算内で停止するのに失敗し、代わりに、密集したモデルが停止する場所を認識しているにもかかわらず繰り返しループに陥る。 さらに,終端連続点とループ継続点との隠れ状態差がプルーニングチェックポイント間で一致していることが判明し,回答へのコミットに関連する共有方向が示唆された。 そこで本研究では,TGAS(Termination-Guided Activation Steering)を提案する。 6つのLRM、3つのプルーニングパイプライン、数学とコードのベンチマークで、TGASは終端と全体的な精度を改善し、繰り返しの推論と生成長を削減し、この障害が実行可能であることを示す。

関連論文リスト

• </think> Doesn't Stop Reasoning: Analysis of Spurious CoT Termination [8.097661521171581]
  本稿では,この時点でエンド・オブ・シンクトークン(EoT)を注入し,推論と回答の遷移を引き起こす戦略について検討する。 注入されたEoTは必ずしもクリーンな応答位相を誘導しない。 私たちはこれをCoT終末と呼び、推論のような生成が応答フェーズに継続する。
  論文  参考訳（メタデータ） (2026-09-03T10:25:23Z)
• Stop When Reasoning Converges: Semantic-Preserving Early Exit for Reasoning Models [17.588873255093596]
  長鎖の思考(CoT)を生成することでLRM(Large Reasoning Models)の性能が向上する LRMは、しばしば過度に考え、ソリューションがすでに安定し、トークンを無駄にし、レイテンシを増大した後も、推論を続けます。 本稿では,軽量冗長検出器と応答レベル検証を組み合わせたプラグアンドプレイフレームワークPUMAを提案する。
  論文  参考訳（メタデータ） (2026-05-17T22:04:11Z)
• STOP: Structured On-Policy Pruning of Long-Form Reasoning in Low-Data Regimes [13.293115227628775]
  ロングチェーン・オブ・シークレット (Long CoT) 推論は多段階問題のパフォーマンスを向上させるが、過度な考えも引き起こす。 長文推論トレースを解析・解析するオンラインアルゴリズムSTOP(Structured On-policy Pruning)を提案する。
  論文  参考訳（メタデータ） (2026-05-13T08:28:05Z)
• Structured Reasoning for Large Language Models [59.215789462977206]
  本研究では、推論を明示的、評価可能、トレーニング可能なコンポーネントに分解するフレームワークであるStructured Reasoning(SCR)を提案する。 SCRは推論効率と自己検証を大幅に改善する。 既存の推論パラダイムと比較して、出力トークンの長さを最大50%削減する。
  論文  参考訳（メタデータ） (2026-01-12T04:04:01Z)
• Circular Reasoning: Understanding Self-Reinforcing Loops in Large Reasoning Models [66.11277323593475]
  Circular Reasoningは、生成されたコンテンツが自身の再発の論理的前提として機能する自己強化トラップである。 機械学的には、円の推論は異なる境界を示す状態崩壊として特徴付けられる。 自己強化型V字型アテンション機構によって駆動される不自由なサイクルとして継続するループ開始を誘導する推論が阻害されることを明らかにする。
  論文  参考訳（メタデータ） (2026-01-09T10:23:55Z)
• DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
  大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。 本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。 このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
  論文  参考訳（メタデータ） (2025-11-01T17:41:28Z)
• Your Models Have Thought Enough: Training Large Reasoning Models to Stop Overthinking [50.97239453902612]
  大規模推論モデル(LRM)は、困難なタスクにおいて顕著なパフォーマンスを達成したが、その深い推論はしばしばかなりの計算コストを発生させる。 Evidence Accumulation Modelsにインスパイアされて、LEMは推論の初期段階で十分な情報を蓄積し、さらなる推論ステップを冗長にすることがわかった。 不要な推論を積極的に終了させるためにモデルを訓練するJust-Enough Thinking (JET)を提案する。
  論文  参考訳（メタデータ） (2025-09-27T16:25:06Z)
• Stop Spinning Wheels: Mitigating LLM Overthinking via Mining Patterns for Early Reasoning Exit [114.83867400179354]
  オーバーライドは、大きな言語モデル全体のパフォーマンスを低下させる可能性がある。 推論は, 探索段階の不足, 補償推論段階, 推論収束段階の3段階に分類される。 我々は,ルールに基づく軽量なしきい値設定戦略を開発し,推論精度を向上させる。
  論文  参考訳（メタデータ） (2025-08-25T03:17:17Z)
• ThinkLess: A Training-Free Inference-Efficient Method for Reducing Reasoning Redundancy [8.962703809086628]
  ThinkLessは推論効率のよいフレームワークで、推論生成を早期に終了し、モデルを変更することなく出力品質を維持する。 我々はThinkLessが完全長のChain-of-Thought(CoT)デコードに匹敵する精度を実現し,デコード時間とメモリ消費を大幅に削減することを示した。
  論文  参考訳（メタデータ） (2025-05-21T15:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。