論文の概要: Long or short CoT? Investigating Instance-level Switch of Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2506.04182v1
• Date: Wed, 04 Jun 2025 17:28:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.492913
• Title: Long or short CoT? Investigating Instance-level Switch of Large Reasoning Models
• Title（参考訳）: 長短のCoT : 大共振モデルのインスタンスレベルスイッチの検討
• Authors: Ruiqi Zhang, Changyi Xiao, Yixin Cao,
• Abstract要約: CoT(Chain-of-Thought)プロンプトは複雑なタスクに対して強いパフォーマンスを示している。 長いCoTはパフォーマンス改善につながる可能性があるが、その利点はトークン消費が著しく高いことと比べれば限界があることが多い。 推論精度と計算効率のバランスをとるために,長いCoT戦略と短いCoT戦略を適応的に選択する自動フレームワークであるSwitchCoTを提案する。
• 参考スコア（独自算出の注目度）: 11.257865157523446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid advancement of large reasoning models, long Chain-of-Thought (CoT) prompting has demonstrated strong performance on complex tasks. However, this often comes with a significant increase in token usage. In this paper, we conduct a comprehensive empirical analysis comparing long and short CoT strategies. Our findings reveal that while long CoT can lead to performance improvements, its benefits are often marginal relative to its significantly higher token consumption. Specifically, long CoT tends to outperform when ample generation budgets are available, whereas short CoT is more effective under tighter budget constraints. These insights underscore the need for a dynamic approach that selects the proper CoT strategy based on task context and resource availability. To address this, we propose SwitchCoT, an automatic framework that adaptively chooses between long and short CoT strategies to balance reasoning accuracy and computational efficiency. Moreover, SwitchCoT is designed to be budget-aware, making it broadly applicable across scenarios with varying resource constraints. Experimental results demonstrate that SwitchCoT can reduce inference costs by up to 50% while maintaining high accuracy. Notably, under limited token budgets, it achieves performance comparable to, or even exceeding, that of using either long or short CoT alone.
• Abstract（参考訳）: 大きな推論モデルの急速な進歩により、長いChain-of-Thought(CoT)プロンプトは複雑なタスクに対して強い性能を示した。 しかし、これはしばしばトークンの使用量が大幅に増加する。 本稿では,長いCoT戦略と短いCoT戦略を比較した包括的実証分析を行う。 以上の結果から,CoTの長期化はパフォーマンス向上につながるが,トークン消費が著しく向上するのに対して,CoTのメリットは極端に小さいことが判明した。 特に、短いCoTは、より厳格な予算制約の下でより効果的であるのに対して、十分な世代予算が利用可能である場合、CoTは長くなる傾向にある。 これらの洞察は、タスクコンテキストとリソース可用性に基づいて適切なCoT戦略を選択する、動的なアプローチの必要性を浮き彫りにする。 これを解決するために,長いCoT戦略と短いCoT戦略を適応的に選択し,推論精度と計算効率のバランスをとる自動フレームワークであるSwitchCoTを提案する。 さらに、SwitchCoTは予算対応として設計されており、様々なリソース制約のあるシナリオに広く適用することができる。 実験の結果,SwitchCoTは高い精度を維持しつつ,推論コストを最大50%削減できることがわかった。 特に、限られたトークン予算の下では、長いCoTと短いCoTと同等、あるいはそれ以上のパフォーマンスを達成する。

関連論文リスト

• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [60.37610817226533]
  CoT推論(Chain-of-Thought reasoning)は、推論中の中間推論をステップバイステップで促進する。 CoTは、長いトークンシーケンスに対する自己回帰復号化に依存するため、かなりの計算オーバーヘッドを導入している。 本稿では,CoT推論を高速化するトークンレベルの信頼度に基づくハイブリッドデコーディングフレームワークであるR-Stitchを提案する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• QFFT, Question-Free Fine-Tuning for Adaptive Reasoning [46.60300066127707]
  Question-Free Fine-Tuning (QFFT)は、トレーニング中に入力された質問を取り除き、Long CoTレスポンスからのみ学習する、微調整のアプローチである。 QFFTは平均応答長を50%以上削減し、性能はSupervised Fine-Tuning (SFT)に匹敵する。
  論文  参考訳（メタデータ） (2025-06-15T14:21:28Z)
• Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models [9.282278040339138]
  CoT(Chain-of-Thought)技術は、複雑な推論タスクにおける大規模言語モデル(LLM)の性能向上に有効であることが証明されている。 トークン確率分布の単調性はCoT推論により得られる利得と相関する可能性があることを予備観測する。 トークン確率分布に基づく2つの指標を提案し,異なるタスク間でCoTの有効性を評価する。
  論文  参考訳（メタデータ） (2025-06-06T11:53:27Z)
• Efficient Long CoT Reasoning in Small Language Models [26.579760423359673]
  小さな言語モデル(SLM)を直接トレーニングして、長いチェーン・オブ・シークレット(CoT)推論ステップを創出することは困難である。 提案手法では, 不要なステップを長いCoTで実行し, 有効かつ有用なCoTトレーニングデータをキュレートするために, SLM自体の法則を用いる。
  論文  参考訳（メタデータ） (2025-05-24T00:22:52Z)
• AdaCoT: Pareto-Optimal Adaptive Chain-of-Thought Triggering via Reinforcement Learning [30.265984245328124]
  Chain-of-Thoughtは、すべてのクエリに対する長い推論ステップを無差別に生成する。 AdaCoT(Adaptive Chain-of-Thought)は、LLMがCoTを呼び出すタイミングを適応的に決定できる新しいフレームワークである。 重要な技術的貢献はSLM(Selective Loss Masking)であり、決定境界崩壊の防止を目的としている。
  論文  参考訳（メタデータ） (2025-05-17T08:27:00Z)
• Unlocking General Long Chain-of-Thought Reasoning Capabilities of Large Language Models via Representation Engineering [59.34894142132706]
  既存の作業では、いくつかの例だけをチューニングすることで、長いCoT推論の能力を効率的に引き出すことができる。 このことは、LLMの一般的な能力であるCoT推論の長さを調査する動機となっている。 LLMの一般的な長大CoT推論能力を解き放つ新しい表現工学手法であるGLoREを提案する。
  論文  参考訳（メタデータ） (2025-03-14T11:30:37Z)
• CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
  我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。 我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-02-13T18:52:36Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [51.631483479081645]
  大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。 本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness [18.073777359647515]
  解答の導出前のChain-of-Thought(CoT)は、大規模言語モデル(LLM)の推論能力を改善することができる。 しかし、生成したCoTの長さは、望ましい最終回答よりもはるかに長いため、さらなる復号コストが生じる。 本稿では、圧縮機がオリジナルの長いCoTを短いCoTに圧縮するCOT圧縮フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-16T11:12:45Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。