論文の概要: Efficient Reasoning via Chain of Unconscious Thought

• arxiv url: http://arxiv.org/abs/2505.19756v1
• Date: Mon, 26 May 2025 09:34:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:43.332577
• Title: Efficient Reasoning via Chain of Unconscious Thought
• Title（参考訳）: 無意識思考の連鎖による効率的な推論
• Authors: Ruihan Gong, Yue Liu, Wenjie Qu, Mingzhe Du, Yufei He, Yingwei Ma, Yulin Chen, Xiang Liu, Yi Wen, Xinfeng Li, Ruidong Wang, Xinzhong Zhu, Bryan Hooi, Jiaheng Zhang,
• Abstract要約: 大規模推論モデル (LRM) は有望な性能を実現するが、冗長な推論プロセスによってトークン効率を損なう。 我々は,無意識思考の連鎖(CoUT)と呼ばれる新しい推論パラダイムを提案し,LRMのトークン効率を向上させる。 我々の研究は、モデルが有益無意識の思考を持ち、性能を犠牲にすることなく効率を向上できることを明らかにした。
• 参考スコア（独自算出の注目度）: 40.82356218832031
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) achieve promising performance but compromise token efficiency due to verbose reasoning processes. Unconscious Thought Theory (UTT) posits that complex problems can be solved more efficiently through internalized cognitive processes. Inspired by UTT, we propose a new reasoning paradigm, termed Chain of Unconscious Thought (CoUT), to improve the token efficiency of LRMs by guiding them to mimic human unconscious thought and internalize reasoning processes. Concretely, we first prompt the model to internalize the reasoning by thinking in the hidden layer. Then, we design a bag of token-efficient strategies to further help models reduce unnecessary tokens yet preserve the performance. Our work reveals that models may possess beneficial unconscious thought, enabling improved efficiency without sacrificing performance. Extensive experiments demonstrate the effectiveness of CoUT. Remarkably, it surpasses CoT by reducing token usage by 47.62% while maintaining comparable accuracy, as shown in Figure 1. The code of CoUT is available at this link: https://github.com/Rohan-GRH/CoUT
• Abstract（参考訳）: 大規模推論モデル (LRM) は有望な性能を実現するが、冗長な推論プロセスによってトークン効率を損なう。 無意識思考理論(UTT)は、複雑な問題をより効率的に内部化された認知プロセスを通じて解けることを示唆している。 意識不明思考の連鎖(CoUT)と呼ばれる新しい推論パラダイムを提案し,人間の無意識思考を模倣し,推論過程を内在化させることで,LRMのトークン効率を向上させる。 具体的には、まずまずモデルに、隠れた層で考えることによって推論を内部化するよう促す。 そして、不要なトークンを減らすのに役立ち、性能を維持するために、トークン効率のよい戦略の袋を設計する。 我々の研究は、モデルが有益無意識の思考を持ち、性能を犠牲にすることなく効率を向上できることを明らかにした。 大規模な実験はCoUTの有効性を示す。 図1に示すように、トークンの使用量を47.62%削減し、同等の精度を維持しながらCoTを上回っている。 https://github.com/Rohan-GRH/CoUT

関連論文リスト

• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models [32.49420948390984]
  大規模推論モデル(LRM)は一般に「過大な」問題に悩まされる。 本研究では, LRMが不要な中間ステップを回避できるように, シンプルで効率的なパイプラインであるThoughtManiを提案する。 ThoughtManiは安全性のアライメントを平均10%向上させる。
  論文  参考訳（メタデータ） (2025-04-18T11:07:19Z)
• Efficient Inference for Large Reasoning Models: A Survey [42.61170621552432]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大78%削減し、15の推論データセットで最小限の精度損失を発生させる。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Chain of Draft: Thinking Faster by Writing Less [37.492654173517046]
  Chain of Draft (CoD)は、人間の認知プロセスにインスパイアされた新しいパラダイムである。 CoDはタスクを解きながら最小限だが情報的中間推論出力を生成する。
  論文  参考訳（メタデータ） (2025-02-25T19:36:06Z)
• LightThinker: Thinking Step-by-Step Compression [53.8069487638972]
  提案するLightThinkerは,大規模言語モデルを用いて推論中の中間的思考を動的に圧縮する手法である。 人間の認知プロセスにインスパイアされたLightThinkerは、思考ステップをコンパクトな表現に圧縮し、元の推論チェーンを捨てる。 実験によると、LightThinkerは競合精度を維持しながら、ピークメモリ使用量と推論時間を短縮する。
  論文  参考訳（メタデータ） (2025-02-21T16:57:22Z)
• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。