論文の概要: Think Clearly: Improving Reasoning via Redundant Token Pruning
- arxiv url: http://arxiv.org/abs/2507.08806v1
- Date: Tue, 17 Jun 2025 06:04:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-20 22:54:22.091499
- Title: Think Clearly: Improving Reasoning via Redundant Token Pruning
- Title（参考訳）: 冗長なトーケンプルーニングによる推論の改善
- Authors: Daewon Choi, Jimin Lee, Jihoon Tack, Woomin Song, Saket Dingliwal, Sai Muralidhar Jayanthi, Bhavana Ganesh, Jinwoo Shin, Aram Galstyan, Sravan Babu Bodapati,
- Abstract要約: 推論過程における冗長性を意図的に除去することで、性能が大幅に向上することを示す。
本手法は, 推論集約型ベンチマークにおいて, トレーニングを伴わずに, 全体的な精度を著しく向上することを示した。
- 参考スコア（独自算出の注目度）: 57.01254508252785
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent large language models have shown promising capabilities in long-form reasoning, following structured chains of thought before arriving at a final answer. However, we observe that these reasoning paths tend to include substantial redundancy; analyzing attention patterns reveals that attention scores are widely scattered, particularly incorrect answers exhibit greater attention sparsity. In this paper, we demonstrate that deliberately removing this redundancy in the reasoning process significantly improves performance through clear thinking, i.e., removing distraction. Specifically, we systematically identify reasoning redundancy by measuring token-level attention scores to a special end-of-thinking token, which is appended to an explicit instruction inserted to conclude each intermediate reasoning step. Furthermore, we propose structure-aware pruning that prioritizes removing tokens in low-contributing reasoning chunks over individual tokens. After evicting redundant tokens, we remove the injected end-of-thinking instruction, then resume the reasoning generation. We demonstrate that our method significantly improves overall accuracy across reasoning-intensive benchmarks without any training involved. In particular, our method shows strong performance on challenging mathematical competition benchmarks such as AIME and AMC, where reasoning redundancy is more prevalent.
- Abstract（参考訳）: 最近の大規模言語モデルは、最終回答に到達する前に、構造化された思考の連鎖に従って、長文の推論において有望な能力を示している。
しかし,これらの推論経路にはかなりの冗長性が伴う傾向があり,注意パターンを解析した結果,注意点が広く分散していることが明らかとなった。
本稿では、この推論過程における冗長性を意図的に取り除くことにより、明確な思考、すなわち注意散らしを取り除くことにより、性能が著しく向上することを示す。
具体的には,各中間推論ステップを終了するために挿入された明示的な命令に付加される特別な終端トークンに対して,トークンレベルの注意スコアを計測することにより,推論冗長性を体系的に同定する。
さらに,各トークンに対する低属性推論チャンクにおけるトークンの除去を優先する構造対応プルーニングを提案する。
冗長トークンを削除した後、インジェクションされた終端命令を取り除き、推論生成を再開する。
提案手法は,学習を伴わずに,推論集約型ベンチマークの総合的精度を著しく向上することを示す。
特に,提案手法は, AIME や AMC といった,冗長性の推論がより一般的である数学的競合ベンチマークにおいて,高い性能を示す。
関連論文リスト
- Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。
LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。
本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
論文 参考訳（メタデータ） (2025-06-16T03:00:40Z) - Wait, We Don't Need to "Wait"! Removing Thinking Tokens Improves Reasoning Efficiency [24.56015832583054]
高度な推論には、"Wait" や "Hmm" などのトークンによって信号される明示的な自己回帰が必要である。
推論中にこれらのトークンを抑えることで、明示的な自己回帰を無効にする、シンプルで効果的なアプローチであるNoWaitを提案する。
論文 参考訳（メタデータ） (2025-06-10T01:54:04Z) - PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。
シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。
実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
論文 参考訳（メタデータ） (2025-05-29T17:55:49Z) - Revisiting Overthinking in Long Chain-of-Thought from the Perspective of Self-Doubt [74.35891434097053]
RLLM(Reasoning Large Language Models)は、複雑なタスクにおいて素晴らしいパフォーマンスを示す。
彼らはしばしば過度に考え、正しい答えに達した後も不必要な推論ステップを実行します。
本稿では,自己疑念の観点から,過剰思考を定量的に分析する。
本稿では,入力問題に対するモデルの過度信頼度を低減するための,シンプルで効果的なプロンプト手法を提案する。
論文 参考訳（メタデータ） (2025-05-29T14:30:02Z) - ThinkLess: A Training-Free Inference-Efficient Method for Reducing Reasoning Redundancy [8.962703809086628]
ThinkLessは推論効率のよいフレームワークで、推論生成を早期に終了し、モデルを変更することなく出力品質を維持する。
我々はThinkLessが完全長のChain-of-Thought(CoT)デコードに匹敵する精度を実現し,デコード時間とメモリ消費を大幅に削減することを示した。
論文 参考訳（メタデータ） (2025-05-21T15:58:16Z) - When Thinking Fails: The Pitfalls of Reasoning for Instruction-Following in LLMs [16.659986373052217]
連鎖推論は命令追従精度を著しく低下させる。
これは、推論によって引き起こされる命令追従の失敗を体系的に公開する最初の作業である。
論文 参考訳（メタデータ） (2025-05-16T16:36:00Z) - Process or Result? Manipulated Ending Tokens Can Mislead Reasoning LLMs to Ignore the Correct Reasoning Steps [39.759594479826454]
入力推論チェーンの微妙なエラーに対するモデル推論の脆弱性について検討する。
この脆弱性は、操作された計算結果を含む推論トークンが提示されたモデルが正しい推論ステップを無視し、その代わりに誤った結果を採用する傾向がある。
我々の研究は、推論の堅牢性を理解することを強化し、推論集約アプリケーションに対するセキュリティ上の配慮を強調します。
論文 参考訳（メタデータ） (2025-03-25T03:43:11Z) - Verbosity-Aware Rationale Reduction: Effective Reduction of Redundant Rationale via Principled Criteria [18.612187958340407]
大規模言語モデル(LLM)は、最終回答の品質を高めるために、広範囲な中間推論単位(トークン、文など)を生成することに依存する。
トークンレベルの削減を明確な基準なしで適用する従来の手法は、完全に合理的に訓練されたモデルと比較して、性能が劣る。
本稿では,冗長な推論文を識別・除去するために,確率に基づく基準,冗長性を活用した文レベルの合理的化フレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-30T15:15:08Z) - Contrastive Chain-of-Thought Prompting [74.10511560147293]
本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。
従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。
推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
論文 参考訳（メタデータ） (2023-11-15T18:54:01Z) - Rationale-Augmented Ensembles in Language Models [53.45015291520658]
我々は、数発のテキスト内学習のための合理化促進策を再考する。
我々は、出力空間における合理的サンプリングを、性能を確実に向上させるキーコンポーネントとして特定する。
有理拡張アンサンブルは既存のプロンプト手法よりも正確で解釈可能な結果が得られることを示す。
論文 参考訳（メタデータ） (2022-07-02T06:20:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。