論文の概要: Mitigating Overthinking in Large Reasoning Models via Manifold Steering

• arxiv url: http://arxiv.org/abs/2505.22411v1
• Date: Wed, 28 May 2025 14:39:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.657551
• Title: Mitigating Overthinking in Large Reasoning Models via Manifold Steering
• Title（参考訳）: マニフォールドステアリングによる大規模共振モデルの再検討
• Authors: Yao Huang, Huanran Chen, Shouwei Ruan, Yichi Zhang, Xingxing Wei, Yinpeng Dong,
• Abstract要約: 大規模推論モデル(LRMs)は、推論中に過剰思考として知られる現象を示す。 低次元活性化多様体に操舵方向を優雅に投影する新しいアプローチであるマニフォールドステアリングを提案する。 本手法は,数個の数式ベンチマークの精度を維持・改善しながら,出力トークンを最大71%削減する。
• 参考スコア（独自算出の注目度）: 32.666911833023526
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in Large Reasoning Models (LRMs) have demonstrated remarkable capabilities in solving complex tasks such as mathematics and coding. However, these models frequently exhibit a phenomenon known as overthinking during inference, characterized by excessive validation loops and redundant deliberation, leading to substantial computational overheads. In this paper, we aim to mitigate overthinking by investigating the underlying mechanisms from the perspective of mechanistic interpretability. We first showcase that the tendency of overthinking can be effectively captured by a single direction in the model's activation space and the issue can be eased by intervening the activations along this direction. However, this efficacy soon reaches a plateau and even deteriorates as the intervention strength increases. We therefore systematically explore the activation space and find that the overthinking phenomenon is actually tied to a low-dimensional manifold, which indicates that the limited effect stems from the noises introduced by the high-dimensional steering direction. Based on this insight, we propose Manifold Steering, a novel approach that elegantly projects the steering direction onto the low-dimensional activation manifold given the theoretical approximation of the interference noise. Extensive experiments on DeepSeek-R1 distilled models validate that our method reduces output tokens by up to 71% while maintaining and even improving the accuracy on several mathematical benchmarks. Our method also exhibits robust cross-domain transferability, delivering consistent token reduction performance in code generation and knowledge-based QA tasks. Code is available at: https://github.com/Aries-iai/Manifold_Steering.
• Abstract（参考訳）: 近年のLRM(Large Reasoning Models)の進歩は、数学やコーディングといった複雑なタスクを解く際、顕著な能力を示している。 しかしながら、これらのモデルは、過度な検証ループと冗長な熟考を特徴とし、推論中に過度に考えることとして知られる現象をしばしば示し、かなりの計算オーバーヘッドをもたらす。 本稿では,機械的解釈可能性の観点から,その基盤となるメカニズムを解明し,過度な思考を緩和することを目的とする。 まず,モデルのアクティベーション空間において,過剰思考の傾向を一つの方向で効果的に捉え,その方向に沿ってアクティベーションをインターベンションすることで問題を緩和できることを示す。 しかし、この効果はすぐに高原に達し、介入強度が増加するにつれて悪化する。 したがって、活性化空間を体系的に探索し、オーバーシンキング現象が実際に低次元多様体に結びついていることを見出した。 この知見に基づいて,干渉雑音の理論的近似から低次元活性化多様体に操舵方向をエレガントに投影する新しい手法であるマニフォールドステアリングを提案する。 DeepSeek-R1蒸留モデルの広範囲な実験により,いくつかの数学ベンチマークの精度を維持・改善しながら,出力トークンを最大71%削減できることを確認した。 また,コード生成と知識に基づくQAタスクにおいて,一貫したトークン削減性能を実現する。 コードは、https://github.com/Aries-iai/Manifold_Steering.comで入手できる。

関連論文リスト

• Exploring and Exploiting the Inherent Efficiency within Large Reasoning Models for Self-Guided Efficiency Enhancement [101.77467538102924]
  大きな推論モデル(LRM)は、効率を阻害し、推論コストを膨らませる過剰な考えを示す。 LRM効率を向上させるための2つの軽量手法を提案する。 まず,学習不要なアクティベーションステアリング技術であるEfficic Steeringを導入する。 第2に,タスクの正確さと簡潔さを動的にバランスする強化学習フレームワークである自己回帰効率RLを開発する。
  論文  参考訳（メタデータ） (2025-06-18T17:18:12Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• SEAL: Steerable Reasoning Calibration of Large Language Models for Free [58.190800043449336]
  大規模言語モデル(LLM)は、拡張チェーン・オブ・ソート(CoT)推論機構を通じて複雑な推論タスクに魅力的な機能を示した。 最近の研究では、CoT推論トレースにかなりの冗長性が示されており、これはモデル性能に悪影響を及ぼす。 我々は,CoTプロセスをシームレスに校正し,高い効率性を示しながら精度を向上する,トレーニング不要なアプローチであるSEALを紹介した。
  論文  参考訳（メタデータ） (2025-04-07T02:42:07Z)
• Active-Dormant Attention Heads: Mechanistically Demystifying Extreme-Token Phenomena in LLMs [77.66717051042032]
  実践者は変圧器に基づく大言語モデルにおいて、3つのパズリング現象を一貫して観察してきた。 これらの現象は、ある種のいわゆる「シンクトークン」が不当に高い注意重みを負っているのが特徴である。 極端トーケン現象のメカニズムを解明する。
  論文  参考訳（メタデータ） (2024-10-17T17:54:06Z)
• FFHFlow: A Flow-based Variational Approach for Learning Diverse Dexterous Grasps with Shape-Aware Introspection [19.308304984645684]
  マルチフィンガーハンドの多様なグリップを生成できる新しいモデルを提案する。 提案手法は, 高いベースラインに対する性能向上と実行時の効率向上を実現する。 また,現実世界の雑多な作業空間や密集した作業空間において,より多様性の高いオブジェクトを把握できることのメリットも示している。
  論文  参考訳（メタデータ） (2024-07-21T13:33:08Z)
• Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL [86.0987896274354]
  まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。 そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。 われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
  論文  参考訳（メタデータ） (2023-10-06T17:57:44Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。