論文の概要: Adaptive Deep Reasoning: Triggering Deep Thinking When Needed

• arxiv url: http://arxiv.org/abs/2505.20101v2
• Date: Tue, 27 May 2025 12:54:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:20.265378
• Title: Adaptive Deep Reasoning: Triggering Deep Thinking When Needed
• Title（参考訳）: Adaptive Deep Reasoning: 必要なときに深い思考をトリガーする
• Authors: Yunhao Wang, Yuhao Zhang, Tinghao Yu, Can Xu, Feng Zhang, Fengzong Lian,
• Abstract要約: 大規模言語モデル(LLM)は、ロングチェーン推論による複雑なタスクの処理において、優れた機能を示している。 本稿では,問題複雑性に基づいて,短鎖と長鎖の推論チェーンを自律的に切り替える手法を提案する。 この進歩は、現実世界の応用のための大規模言語モデルにおける推論の実践性を高める。
• 参考スコア（独自算出の注目度）: 28.575411507835973
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have shown impressive capabilities in handling complex tasks through long-chain reasoning. However, the extensive reasoning steps involved can significantly increase computational costs, posing challenges for real-world deployment. Recent efforts have focused on optimizing reasoning efficiency by shortening the Chain-of-Thought (CoT) reasoning processes through various approaches, such as length-aware prompt engineering, supervised fine-tuning on CoT data with variable lengths, and reinforcement learning with length penalties. Although these methods effectively reduce reasoning length, they still necessitate an initial reasoning phase. More recent approaches have attempted to integrate long-chain and short-chain reasoning abilities into a single model, yet they still rely on manual control to toggle between short and long CoT. In this work, we propose a novel approach that autonomously switches between short and long reasoning chains based on problem complexity. Our method begins with supervised fine-tuning of the base model to equip both long-chain and short-chain reasoning abilities. We then employ reinforcement learning to further balance short and long CoT generation while maintaining accuracy through two key strategies: first, integrating reinforcement learning with a long-short adaptive group-wise reward strategy to assess prompt complexity and provide corresponding rewards; second, implementing a logit-based reasoning mode switching loss to optimize the model's initial token choice, thereby guiding the selection of the reasoning type. Evaluations on mathematical datasets demonstrate that our model can dynamically switch between long-chain and short-chain reasoning modes without substantially sacrificing performance. This advancement enhances the practicality of reasoning in large language models for real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ロングチェーン推論による複雑なタスクの処理において、優れた機能を示している。 しかし、関係する広範囲な推論ステップは計算コストを大幅に増加させ、現実のデプロイメントに挑戦する可能性がある。 最近の研究は、長さ認識プロンプトエンジニアリング、CoTデータの可変長による微調整の監督、長さのペナルティによる強化学習など、様々なアプローチによるCoT推論プロセスの短縮による推論効率の最適化に重点を置いている。 これらの手法は推論長を効果的に削減するが、最初の推論フェーズが必要である。 最近のアプローチでは、長鎖と短鎖の推論能力を単一のモデルに統合しようと試みているが、短鎖と短鎖のCoTを切り替えるために手動の制御に依存している。 本研究では,問題複雑性に基づいて,短鎖と長鎖を自律的に切り替える手法を提案する。 本手法は,長鎖推論能力と短鎖推論能力を両立させるため,ベースモデルの教師付き微調整から始める。 次に,モデルの初期トークン選択を最適化するために,ロジットベースの推論モード切替損失を実装し,推論型の選択を誘導する。 数学的データセットの評価により,我々のモデルは性能を著しく犠牲にすることなく,長鎖と短鎖の推論モードを動的に切り替えることができることが示された。 この進歩は、現実世界の応用のための大規模言語モデルにおける推論の実践性を高める。

関連論文リスト

• Thinkless: LLM Learns When to Think [57.857534644932194]
  推論モデル(Reasoning Language Models)は、複雑な論理的推論を必要とするタスクにおいて顕著な性能を示す。 我々は,LLMが短文推論と長文推論を適応的に選択できる学習可能なフレームワークであるThinklessを提案する。 Minerva Algebra、MATH-500、GSM8Kなどのベンチマークでは、Thinklessはロングチェーン思考の使用を50%から90%削減することができる。
  論文  参考訳（メタデータ） (2025-05-19T17:24:16Z)
• Ada-R1: Hybrid-CoT via Bi-Level Adaptive Reasoning Optimization [86.56120216550232]
  適応的で効率的な推論のための新しい2段階のフレームワークを提案する。 まず、長いCoTモデルと短いCoTモデルを組み合わせてハイブリッド推論モデルを構築する。 第二に、モデルに適切な推論スタイルを選択するための2段階の選好訓練を適用する。
  論文  参考訳（メタデータ） (2025-04-30T14:01:45Z)
• ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.0416697066889342]
  そこで本研究では,手動による指導を必要とせずに,推論モデルによる最適なCoT長の学習を可能にする,簡易かつ効果的な強化学習手法を提案する。 ShorterBetterは、ドメイン内およびドメイン外推論タスクの出力長を50%-80%削減する。 我々の推論トレース分析は、不要な反復、過剰な自己検証、代替品の過剰探索を減らし、ショーターベッターが推論トレースの構造を洗練することを示している。
  論文  参考訳（メタデータ） (2025-04-30T07:04:19Z)
• Stop Overthinking: A Survey on Efficient Reasoning for Large Language Models [54.04678363287392]
  大規模言語モデル(LLM)は複雑なタスクにおいて顕著な機能を示した。 OpenAI o1とDeepSeek-R1の最近の進歩は、System-2推論ドメインのパフォーマンスをさらに改善した。
  論文  参考訳（メタデータ） (2025-03-20T17:59:38Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大78%削減し、15の推論データセットで最小限の精度損失を発生させる。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• DAST: Difficulty-Adaptive Slow-Thinking for Large Reasoning Models [31.189242663680695]
  本稿では,問題の難易度に基づいて,モデルがチェーン・オブ・ソート(CoT)の長さを自律的に調整できる新しいフレームワークであるDASTを紹介する。 多様なデータセットとモデルスケールの実験により、DASTは複雑な問題に対する推論精度を維持しながら、過剰思考を効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-03-06T14:23:06Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。