論文の概要: NEAT: Neuron-Based Early Exit for Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2602.02010v1
• Date: Mon, 02 Feb 2026 12:09:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:34.131693
• Title: NEAT: Neuron-Based Early Exit for Large Reasoning Models
• Title（参考訳）: NEAT:大型共振器モデルのためのニューロンをベースとした早期退院
• Authors: Kang Liu, Yongkang Liu, Xiaocui Yang, Peidong Wang, Wen Zhang, Shi Feng, Yifei Zhang, Daling Wang,
• Abstract要約: 大規模な推論モデル(LRM)は、正しい解が到達した後に冗長な推論ステップが生成される現象であるエンフェーバー思考に悩まされることが多い。 既存の早期推論終了メソッドは、冗長な推論ステップをスキップするために出力レベルや訓練されたプローブモデルに依存している。 トレーニング不要早期退避を可能にするために,ニューロンレベルの活性化ダイナミクスを監視するフレームワークである textbfNEAT を提案する。
• 参考スコア（独自算出の注目度）: 37.88270573682948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) often suffer from \emph{overthinking}, a phenomenon in which redundant reasoning steps are generated after a correct solution has already been reached. Existing early reasoning exit methods primarily rely on output-level heuristics or trained probing models to skip redundant reasoning steps, thereby mitigating overthinking. However, these approaches typically require additional rollout computation or externally labeled datasets. In this paper, we propose \textbf{NEAT}, a \textbf{N}euron-based \textbf{E}arly re\textbf{A}soning exi\textbf{T} framework that monitors neuron-level activation dynamics to enable training-free early exits, without introducing additional test-time computation. NEAT identifies exit-associated neurons and tracks their activation patterns during reasoning to dynamically trigger early exit or suppress reflection, thereby reducing unnecessary reasoning while preserving solution quality. Experiments on four reasoning benchmarks across six models with different scales and architectures show that, for each model, NEAT achieves an average token reduction of 22\% to 28\% when averaged over the four benchmarks, while maintaining accuracy.
• Abstract（参考訳）: 大規模な推論モデル(LRM)は、しばしば「emph{overthinking}」と呼ばれる現象に悩まされる。 既存の早期推論終了法は主に出力レベルのヒューリスティックや訓練された探索モデルに依存し、冗長な推論ステップを省略し、過度な思考を緩和する。 しかし、これらのアプローチは通常、追加のロールアウト計算や外部ラベル付きデータセットを必要とする。 本稿では、ニューロンレベルのアクティベーションダイナミクスを監視して、追加のテスト時間計算を導入することなく、トレーニング不要の早期終了を可能にする、textbf{NEAT}, a \textbf{N}euron-based \textbf{E}arly re\textbf{A}soning exi\textbf{T} frameworkを提案する。 NEATは、出口関連ニューロンを特定し、推論中の活性化パターンを追跡して、早期離脱を動的に誘発したり、反射を抑えることで、溶液の品質を維持しながら不要な推論を減らす。 異なるスケールとアーキテクチャを持つ6つのモデルを対象とした4つの推論ベンチマークの実験では、NEATは4つのベンチマークの平均値に対して平均22\%から28\%のトークン削減を達成し、精度を維持しながら達成している。

関連論文リスト

• Encode, Think, Decode: Scaling test-time reasoning with recursive latent thoughts [19.518525241726916]
  Encode-Think-Decode (ETD) は、トレーニング中の推論関連レイヤの小さなサブセットを反復するようにトレーニングすることで、ベースモデルの推論能力を向上する手法である。 ETDモデルは、GSM8Kで+28.4%、OLMo-2 1Bベースモデルで+36%の相対精度の改善を含む17の推論ベンチマークで大幅に向上した。
  論文  参考訳（メタデータ） (2025-10-08T15:58:35Z)
• Inverse Scaling in Test-Time Compute [51.16323216811257]
  LRM(Large Reasoning Models)の推論長の延長は性能を低下させる。 モデルが長い理由付けをする場合には、5つの異なる障害モードを特定します。 これらの結果は、テストタイムの計算スケーリングはモデル機能の改善に引き続き期待できるが、問題のある推論パターンを必然的に補強する可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-07-19T00:06:13Z)
• Let LRMs Break Free from Overthinking via Self-Braking Tuning [68.93713497579853]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。