論文の概要: Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens

• arxiv url: http://arxiv.org/abs/2505.18237v1
• Date: Fri, 23 May 2025 13:38:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.256241
• Title: Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens
• Title（参考訳）: 考えるかしないか? 情報理論レンズを用いた大規模推論モデルにおける思考効率の探索
• Authors: Xixian Yong, Xiao Zhou, Yingying Zhang, Jinlin Li, Yefeng Zheng, Xian Wu,
• Abstract要約: 本稿では,情報理論レンズによる推論プロセスの効率を再考する。 本稿では,理想的な推論経路と段階的な情報提供から分岐を定量化するために,InfoBias と InfoGain という2つの指標を提案する。 これらの知見に触発されて,信頼度が十分に高ければ推論を動的に停止する,エントロピーに基づく適応的思考戦略を導入する。
• 参考スコア（独自算出の注目度）: 51.90059610606049
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent rise of Large Reasoning Models (LRMs) has significantly improved multi-step reasoning performance, but often at the cost of generating excessively long reasoning chains. This paper revisits the efficiency of such reasoning processes through an information-theoretic lens, revealing a fundamental trade-off between reasoning length and semantic efficiency. We propose two metrics, InfoBias and InfoGain, to quantify divergence from ideal reasoning paths and stepwise information contribution, respectively. Empirical analyses show that longer reasoning chains tend to exhibit higher information bias and diminishing information gain, especially for incorrect answers. Motivated by these findings, we introduce an entropy-based Adaptive Think strategy that dynamically halts reasoning once confidence is sufficiently high, improving efficiency while maintaining competitive accuracy. Compared to the Vanilla Think approach (default mode), our strategy yields a 1.10% improvement in average accuracy and a 50.80% reduction in token usage on QwQ-32B across six benchmark tasks spanning diverse reasoning types and difficulty levels, demonstrating superior efficiency and reasoning performance. These results underscore the promise of entropy-based methods for enhancing both accuracy and cost-effiiciency in large language model deployment.
• Abstract（参考訳）: 近年のLarge Reasoning Models (LRM) の増加は、多段階推論性能を大幅に向上させたが、多くの場合、過度に長い推論チェーンを生成するコストがかかる。 本稿では、情報理論レンズによる推論過程の効率を再考し、推論長と意味的効率の基本的なトレードオフを明らかにする。 本稿では,情報バイアスとInfoGainの2つの指標を提案する。 経験的分析によると、長い推論連鎖は情報バイアスが高くなり、情報ゲインが低下する傾向にある。 これらの知見に触発されて、エントロピーに基づく適応思考戦略を導入し、信頼度が十分に高ければ推論を動的に停止し、競争精度を維持しながら効率を向上する。 Vanilla Thinkアプローチ(デフォルトモード)と比較して、当社の戦略は平均精度が1.10%向上し、QwQ-32B上でのトークン使用率が50.80%減少した。 これらの結果は,エントロピーに基づく大規模言語モデルの展開において,精度とコスト効率を両立させる手法の約束を裏付けるものである。

関連論文リスト

• LIMOPro: Reasoning Refinement for Efficient and Effective Test-time Scaling [29.721108461390973]
  PIR(Perplexity-based Importance Refinement)は,各推論ステップの重要性を定量的に評価するフレームワークである。 PIRは、プログレッシブ推論コンポーネントを保持しながら、低重要機能ステップのみを特定し、選択的にプーンする。 我々のアプローチは、異なるモデルサイズ、データソース、トークン予算にまたがる強力な一般化可能性を示す。
  論文  参考訳（メタデータ） (2025-05-25T15:17:57Z)
• Ada-R1: Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• Efficient Inference for Large Reasoning Models: A Survey [42.61170621552432]
  LRM(Large Reasoning Models)は、Large Language Models(LLM)の推論能力を大幅に向上させる。 しかし、それらの熟考的推論プロセスはトークンの使用、メモリ消費、推論時間に非効率をもたらす。 本調査では, LRMに特化して設計された効率的な推論手法を概説し, 推論品質を維持しつつトークンの非効率を緩和することに着目した。
  論文  参考訳（メタデータ） (2025-03-29T13:27:46Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。