論文の概要: A*-Thought: Efficient Reasoning via Bidirectional Compression for Low-Resource Settings

• arxiv url: http://arxiv.org/abs/2505.24550v1
• Date: Fri, 30 May 2025 12:58:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.957749
• Title: A*-Thought: Efficient Reasoning via Bidirectional Compression for Low-Resource Settings
• Title（参考訳）: A*-Thought:低リソース設定のための双方向圧縮による効率的な推論
• Authors: Xiaoang Xu, Shuo Wang, Xu Han, Zhenghao Liu, Huijia Wu, Peipei Li, Zhiyuan Liu, Maosong Sun, Zhaofeng He,
• Abstract要約: A*-Thoughtは、最も本質的な思考を識別し、分離するために設計された効率的なツリー検索ベースの統合フレームワークである。 LRMの推論過程を探索木として定式化し、各ノードは巨大な推論空間における推論スパンを表す。 低予算でQwQ-32Bを2.39$times$で改善し、高予算で出力トークンの長さを50%近く削減できる。
• 参考スコア（独自算出の注目度）: 64.36404136352287
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Reasoning Models (LRMs) achieve superior performance by extending the thought length. However, a lengthy thinking trajectory leads to reduced efficiency. Most of the existing methods are stuck in the assumption of overthinking and attempt to reason efficiently by compressing the Chain-of-Thought, but this often leads to performance degradation. To address this problem, we introduce A*-Thought, an efficient tree search-based unified framework designed to identify and isolate the most essential thoughts from the extensive reasoning chains produced by these models. It formulates the reasoning process of LRMs as a search tree, where each node represents a reasoning span in the giant reasoning space. By combining the A* search algorithm with a cost function specific to the reasoning path, it can efficiently compress the chain of thought and determine a reasoning path with high information density and low cost. In addition, we also propose a bidirectional importance estimation mechanism, which further refines this search process and enhances its efficiency beyond uniform sampling. Extensive experiments on several advanced math tasks show that A*-Thought effectively balances performance and efficiency over a huge search space. Specifically, A*-Thought can improve the performance of QwQ-32B by 2.39$\times$ with low-budget and reduce the length of the output token by nearly 50% with high-budget. The proposed method is also compatible with several other LRMs, demonstrating its generalization capability. The code can be accessed at: https://github.com/AI9Stars/AStar-Thought.
• Abstract（参考訳）: 大共振モデル(LRM)は思考長を延長することで優れた性能を発揮する。 しかし、長い思考軌道は効率を低下させる。 既存の手法のほとんどは、過度に考え直し、Chain-of-Thoughtを圧縮することで効率的に推論しようとするものであるが、これはしばしば性能劣化につながる。 この問題に対処するために,これらのモデルが生み出す広範囲な推論チェーンから,最も不可欠な思考を識別し,分離するために設計された,効率的な木探索に基づく統合フレームワークであるA*-Thoughtを紹介した。 LRMの推論過程を探索木として定式化し、各ノードは巨大な推論空間における推論スパンを表す。 A*探索アルゴリズムを推論経路に特有のコスト関数と組み合わせることで、思考の連鎖を効率よく圧縮し、情報密度が高く低コストな推論経路を決定することができる。 さらに,この探索プロセスをさらに改良し,一様サンプリングを超えて効率を向上させる双方向重要度推定機構を提案する。 いくつかの高度な数学タスクに関する大規模な実験により、A*-Thoughtは巨大な検索空間上での性能と効率を効果的にバランスしていることが示されている。 具体的には、A*-Thoughtは低予算でQwQ-32Bのパフォーマンスを2.39$\times$で改善し、高予算で出力トークンの長さを50%近く削減することができる。 提案手法は、他のいくつかのLEMと互換性があり、その一般化能力を示す。 コードは、https://github.com/AI9Stars/AStar-Thought.comでアクセスすることができる。

関連論文リスト

• Thinking Short and Right Over Thinking Long: Serving LLM Reasoning Efficiently and Accurately [29.018731931275138]
  大規模言語モデル(LLM)は、所定の要求に応答するChain-of-Thought推論を生成することで、より優れた機能を得ることができる。 しかし,2つのスケーリング次元を取り入れた場合,システム効率は2つの理由から著しく低下する。 本稿では,効率的なLLM推論のためのサービスフレームワークであるSARTについて述べる。
  論文  参考訳（メタデータ） (2025-05-19T16:34:56Z)
• ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
  そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。 我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
  論文  参考訳（メタデータ） (2025-04-30T07:04:19Z)
• Efficient Reasoning for LLMs through Speculative Chain-of-Thought [39.56636034410561]
  OpenAI-o1やDeepseek-R1のような大きな推論言語モデルは、タスク解決能力が優れていたため、広く注目を集めている。 効率的な推論のための既存の方法は、主にモデルパラメータの数を減らしたり、チェーンオブ思考の長さを短縮することに焦点を当てている。 本稿では,平均推論速度の高速化により推理遅延を他の視点から低減するSCoT(Speculative Chain-of-Thought)を提案する。
  論文  参考訳（メタデータ） (2025-04-27T03:56:39Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Dynamic Parallel Tree Search for Efficient LLM Reasoning [102.16694475391665]
  Tree of Thoughts (ToT) は大規模言語モデル(LLM)推論を強化し、分散木としての問題解決を構造化する。 推論における推論経路を動的に最適化することを目的とした,新しい並列化フレームワークであるDynamic Parallel Tree Search (DPTS)を提案する。 Qwen-2.5とLlama-3のMath500とGSM8Kデータセットによる実験では、DPTSは平均で2-4倍効率が向上した。
  論文  参考訳（メタデータ） (2025-02-22T14:13:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。