論文の概要: Scalable Chain of Thoughts via Elastic Reasoning

• arxiv url: http://arxiv.org/abs/2505.05315v1
• Date: Thu, 08 May 2025 15:01:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-09 21:43:49.929011
• Title: Scalable Chain of Thoughts via Elastic Reasoning
• Title（参考訳）: 弾性推論による思考のスケーラブルな連鎖
• Authors: Yuhui Xu, Hanze Dong, Lei Wang, Doyen Sahoo, Junnan Li, Caiming Xiong,
• Abstract要約: Elastic Reasoningは、スケーラブルな思考の連鎖のための新しいフレームワークである。 推論は、独立して割り当てられた予算で、思考と解決の2つのフェーズに分けられる。 制約のない設定であっても、より簡潔で効率的な推論を生成する。
• 参考スコア（独自算出の注目度）: 61.75753924952059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) have achieved remarkable progress on complex tasks by generating extended chains of thought (CoT). However, their uncontrolled output lengths pose significant challenges for real-world deployment, where inference-time budgets on tokens, latency, or compute are strictly constrained. We propose Elastic Reasoning, a novel framework for scalable chain of thoughts that explicitly separates reasoning into two phases--thinking and solution--with independently allocated budgets. At test time, Elastic Reasoning prioritize that completeness of solution segments, significantly improving reliability under tight resource constraints. To train models that are robust to truncated thinking, we introduce a lightweight budget-constrained rollout strategy, integrated into GRPO, which teaches the model to reason adaptively when the thinking process is cut short and generalizes effectively to unseen budget constraints without additional training. Empirical results on mathematical (AIME, MATH500) and programming (LiveCodeBench, Codeforces) benchmarks demonstrate that Elastic Reasoning performs robustly under strict budget constraints, while incurring significantly lower training cost than baseline methods. Remarkably, our approach also produces more concise and efficient reasoning even in unconstrained settings. Elastic Reasoning offers a principled and practical solution to the pressing challenge of controllable reasoning at scale.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、思考の連鎖(CoT)を拡大することによって、複雑なタスクにおいて顕著な進歩を遂げた。 しかしながら、それらの制御されていないアウトプット長は、トークンやレイテンシ、計算に関する推論時間予算が厳格に制約されるような、現実世界のデプロイメントにおいて重大な課題を引き起こします。 我々は、スケーラブルな思考の連鎖のための新しいフレームワークであるElastic Reasoningを提案する。 テスト時には、Elastic Reasoningはソリューションセグメントの完全性を優先し、厳しいリソース制約の下で信頼性を著しく向上させる。 提案手法をGRPOに組み込んだ軽量な予算制約付きロールアウト戦略を導入し,思考プロセスのショートカット時にモデルに適応的推論を指導し,新たなトレーニングを伴わずに予算制約を効果的に一般化する。 数学(AIME, MATH500)とプログラミング(LiveCodeBench, Codeforces)のベンチマークに関する実証的な結果は、Elastic Reasoningが厳格な予算制約の下で堅牢に動作し、ベースライン法よりもトレーニングコストが大幅に低いことを示している。 注目すべきは、制約のない設定でも、より簡潔で効率的な推論を実現できることだ。 Elastic Reasoningは、大規模で制御可能な推論の押し付け課題に対して、原則的で実践的な解決策を提供する。

関連論文リスト

• Steering LLM Thinking with Budget Guidance [48.65894557568655]
  予算指導は、微調整を必要とせず、目標予算に向けてLSMの推論プロセスを操る方法である。 提案手法では,ガンマ分布を残りの思考長にわたってモデル化する軽量な予測器を提案する。 この信号は、生成をソフトでトークンレベルの方法でガイドするために使用され、全体の推論トレースが指定された思考予算に従うことを保証する。
  論文  参考訳（メタデータ） (2025-06-16T17:57:05Z)
• Collaborative LLM Inference via Planning for Efficient Reasoning [50.04696654679751]
  本稿では,プランナーモデルがまず,その問題の蒸留および高レベルの抽象化として定義されたプランを生成するテストタイム協調フレームワークを提案する。 小型と大型のモデルは、プランナーと理性士として交代で働き、複雑なタスクを協調的に解決するために、多ラウンドのカスケードでプランを交換する。 提案手法は,強力なプロプライエタリモデルに匹敵する精度を実現し,有償推論への依存を著しく低減する。
  論文  参考訳（メタデータ） (2025-06-13T08:35:50Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Reinforced Latent Reasoning for LLM-based Recommendation [83.18146814163308]
  大きな言語モデル(LLM)は、複雑な問題解決タスクにおいて印象的な推論能力を示している。 既存の手法は通常、明示的なチェーン・オブ・シント(CoT)データによる微調整に依存している。 本研究では, 明示的なCoT推論から, コンパクトで情報密度の高い潜伏推論へ移行する代替手法について検討する。
  論文  参考訳（メタデータ） (2025-05-25T11:03:45Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• Let LLMs Break Free from Overthinking via Self-Braking Tuning [60.08396797526657]
  大きな推論モデル(LRM)は思考の長い連鎖を生成することによって推論能力を著しく向上させた。 この性能向上は、生成プロセス中の冗長な推論を大幅に増加させるコストが伴う。 本稿では、モデルが独自の推論プロセスを制御することを許容する観点から、過度に検討する新しいフレームワーク、Self-Braking Tuning(SBT)を提案する。
  論文  参考訳（メタデータ） (2025-05-20T16:53:40Z)
• Thought Manipulation: External Thought Can Be Efficient for Large Reasoning Models [32.49420948390984]
  大規模推論モデル(LRM)は、しばしば過度に冗長な推論ステップを生成し、性能の向上が制限されるという過大な問題に悩まされる。 本研究では, LRMが不要な中間ステップを回避し, 計算コストを大幅に削減できる簡易で効率的なパイプライン, Methodを提案する。
  論文  参考訳（メタデータ） (2025-04-18T11:07:19Z)
• Trade-offs in Large Reasoning Models: An Empirical Analysis of Deliberative and Adaptive Reasoning over Foundational Capabilities [101.77467538102924]
  近年のLRM(Large Reasoning Models)の進歩は、特殊推論タスクにおいて顕著な性能を示している。 議論的推論能力の獲得は, LRMの基礎的能力を大幅に低下させることを示す。 適応推論(Zero-Thinking, Less-Thinking, Summary-Thinking)がこれらの欠点を効果的に軽減できることを示します。
  論文  参考訳（メタデータ） (2025-03-23T08:18:51Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• DAST: Difficulty-Adaptive Slow-Thinking for Large Reasoning Models [30.184895117009457]
  本稿では,問題の難易度に基づいて,モデルが自律的にChain-of-Thought(CoT)の長さを調整できる,DAST(Difficulty-Adaptive Slow Thinking)を提案する。 多様なデータセットとモデルスケールの実験により、DASTは複雑な問題に対する推論精度を維持しながら、過剰思考を効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-03-06T14:23:06Z)
• Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
  我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。 FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。 FoTは、最も関連性の高い推論パスを選択するためにスパースアクティベーション戦略を採用し、効率と精度の両方を改善している。
  論文  参考訳（メタデータ） (2024-12-12T09:01:18Z)
• Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models [19.466985579720507]
  大規模言語モデル(LLM)は、広範囲のタスクにおいて顕著な創発能力を示しているが、関連する高価なAPIコストは、実際のアプリケーションを大幅に制限している。 本稿では,異なるスケールのハイブリッドLLMの相乗的ポテンシャルを効率的に推論するために,「思考のシネルギー」を提案する。 SoTはAPIコストを38.3%-75.1%削減し、最先端の推論精度とソリューションの多様性を同時に達成している。
  論文  参考訳（メタデータ） (2024-02-04T16:45:01Z)
• Distributional Robustness and Regularization in Reinforcement Learning [62.23012916708608]
  経験値関数の新しい正規化器を導入し、ワッサーシュタイン分布のロバストな値関数を下限とすることを示す。 強化学習における$textitexternalな不確実性に対処するための実用的なツールとして正規化を使用することを提案する。
  論文  参考訳（メタデータ） (2020-03-05T19:56:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。