論文の概要: Mitigating Overthinking in Large Reasoning Models via Manifold Steering

• arxiv url: http://arxiv.org/abs/2505.22411v1
• Date: Wed, 28 May 2025 14:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.657551
• Title: Mitigating Overthinking in Large Reasoning Models via Manifold Steering
• Title（参考訳）: マニフォールドステアリングによる大規模共振モデルの再検討
• Authors: Yao Huang, Huanran Chen, Shouwei Ruan, Yichi Zhang, Xingxing Wei, Yinpeng Dong,
• Abstract要約: 大規模推論モデル(LRMs)は、推論中に過剰思考として知られる現象を示す。 低次元活性化多様体に操舵方向を優雅に投影する新しいアプローチであるマニフォールドステアリングを提案する。 本手法は,数個の数式ベンチマークの精度を維持・改善しながら,出力トークンを最大71%削減する。
• 参考スコア（独自算出の注目度）: 32.666911833023526
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in solving complex tasks such as mathematics and coding. However, these models frequently exhibit a phenomenon known as overthinking during inference, characterized by excessive validation loops and redundant deliberation, leading to substantial computational overheads. In this paper, we aim to mitigate overthinking by investigating the underlying mechanisms from the perspective of mechanistic interpretability. We first showcase that the tendency of overthinking can be effectively captured by a single direction in the model's activation space and the issue can be eased by intervening the activations along this direction. However, this efficacy soon reaches a plateau and even deteriorates as the intervention strength increases. We therefore systematically explore the activation space and find that the overthinking phenomenon is actually tied to a low-dimensional manifold, which indicates that the limited effect stems from the noises introduced by the high-dimensional steering direction. Based on this insight, we propose Manifold Steering, a novel approach that elegantly projects the steering direction onto the low-dimensional activation manifold given the theoretical approximation of the interference noise. Extensive experiments on DeepSeek-R1 distilled models validate that our method reduces output tokens by up to 71% while maintaining and even improving the accuracy on several mathematical benchmarks. Our method also exhibits robust cross-domain transferability, delivering consistent token reduction performance in code generation and knowledge-based QA tasks. Code is available at: https://github.com/Aries-iai/Manifold_Steering.
• Abstract（参考訳）: 近年のLRM(Large Reasoning Models)の進歩は、数学やコーディングといった複雑なタスクを解く際、顕著な能力を示している。 しかしながら、これらのモデルは、過度な検証ループと冗長な熟考を特徴とし、推論中に過度に考えることとして知られる現象をしばしば示し、かなりの計算オーバーヘッドをもたらす。 本稿では,機械的解釈可能性の観点から,その基盤となるメカニズムを解明し,過度な思考を緩和することを目的とする。 まず,モデルのアクティベーション空間において,過剰思考の傾向を一つの方向で効果的に捉え,その方向に沿ってアクティベーションをインターベンションすることで問題を緩和できることを示す。 しかし、この効果はすぐに高原に達し、介入強度が増加するにつれて悪化する。 したがって、活性化空間を体系的に探索し、オーバーシンキング現象が実際に低次元多様体に結びついていることを見出した。 この知見に基づいて,干渉雑音の理論的近似から低次元活性化多様体に操舵方向をエレガントに投影する新しい手法であるマニフォールドステアリングを提案する。 DeepSeek-R1蒸留モデルの広範囲な実験により,いくつかの数学ベンチマークの精度を維持・改善しながら,出力トークンを最大71%削減できることを確認した。 また,コード生成と知識に基づくQAタスクにおいて,一貫したトークン削減性能を実現する。 コードは、https://github.com/Aries-iai/Manifold_Steering.comで入手できる。

関連論文リスト

• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。