Fugu-MT 論文翻訳(概要): When More is Less: Understanding Chain-of-Thought Length in LLMs

論文の概要: When More is Less: Understanding Chain-of-Thought Length in LLMs

arxiv url: http://arxiv.org/abs/2502.07266v2
Date: Sat, 24 May 2025 09:58:11 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-27 14:32:53.314337
Title: When More is Less: Understanding Chain-of-Thought Length in LLMs
Title（参考訳）: LLMにおけるチェーン・オブ・ソート長の理解
Authors: Yuyang Wu, Yifei Wang, Tianqi Du, Stefanie Jegelka, Yisen Wang,
Abstract要約: 大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。本稿は、長いCoTがより優れていると仮定されることがしばしばあり、長いCoTが常に優れているとは限らない、と論じる。
参考スコア（独自算出の注目度）: 53.77747102201451
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Large Language Models (LLMs) employ Chain-of-Thought (CoT) reasoning to deconstruct complex problems. While longer CoTs are often presumed superior, this paper challenges that notion, arguing that longer is not always better. Drawing on combined evidence from real-world observations, controlled experiments, and theoretical analysis, we demonstrate that task accuracy typically follows an inverted U-shaped curve with CoT length, where performance initially improves but eventually decreases as the number of CoT steps increases. With controlled experiments, we further uncover the scaling behaviors of the optimal CoT length: it increases with task difficulty but decreases with model capability, exposing an inherent simplicity bias where more capable models favor shorter, more efficient CoT reasoning. This bias is also evident in Reinforcement Learning (RL) training, where models gravitate towards shorter CoTs as their accuracy improves. To have a deep understanding of these dynamics, we establish a simple theoretical model that formally proves these phenomena, including the optimal length's scaling laws and the emergence of simplicity bias during RL. Guided by this framework, we demonstrate significant practical benefits from training with optimally-lengthed CoTs and employing length-aware filtering at inference. These findings offer both a principled understanding of the "overthinking" phenomenon and multiple practical guidelines for CoT calibration, enabling LLMs to achieve optimal reasoning performance with adaptive CoTs tailored to task complexity and model capability.
Abstract（参考訳）: 大規模言語モデル(LLM)は複雑な問題を分解するためにChain-of-Thought(CoT)推論を用いる。長いCoTの方が優れていると推測されることが多いが、この論文は、長いCoTの方が必ずしも良いとは限らない、と論じ、その概念に挑戦する。実世界の観測, 制御実験, 理論的解析から, タスク精度は典型的にはCoT長の逆U字曲線に従っており, 当初は性能が向上するが, 最終的にCoTステップの数が増えるにつれて低下することを示した。制御された実験により、最適なCoT長のスケーリング挙動がさらに明らかにされる:タスクの難易度は増大するが、モデル能力は低下し、より有能なモデルがより短く、より効率的なCoT推論を好むような固有の単純さバイアスが露呈する。このバイアスは強化学習(Reinforcement Learning, RL)トレーニングでも明らかであり、モデルの精度が向上するにつれて、モデルを短いCoTへと誘導する。これらの力学を深く理解するために、最適長のスケーリング法則やRL中の単純さバイアスの出現など、これらの現象を正式に証明する単純な理論モデルを構築した。このフレームワークによって導かれ、最適長のCoTを用いてトレーニングし、推論に長さ認識フィルタリングを用いることにより、重要な実用的メリットを示す。これらの知見は「過大な」現象の原則的理解と複数のCOT校正の実践的ガイドラインの両方を提供し、LLMはタスク複雑性とモデル能力に合わせた適応CoTを用いて最適な推論性能を達成できる。

関連論文リスト

Between Underthinking and Overthinking: An Empirical Study of Reasoning Length and correctness in LLMs [52.405085773954596]
大規模な言語モデル(LLM)は、単純な問題を克服し、不要に長いアウトプットを生成し、より難しいものを過小評価する傾向にある。これは、モデルが問題の難しさを誤認し、応答長を適切に調整できないことを示唆している。実験の結果, 許容精度を維持しつつ, 生成時間を大幅に短縮できることがわかった。
論文参考訳（メタデータ） (2025-04-30T18:48:06Z)
ShorterBetter: Guiding Reasoning Models to Find Optimal Inference Length for Efficient Reasoning [1.170732359523702]
OpenAI o3やDeepSeek-R1のような推論モデルは、推論集約的なタスクに対して強力なパフォーマンスを示している。長い推論トレースは、複雑な問題に対する解経路のより徹底的な探索を促進する。 ShorterBetterは、推論言語モデルによる最適なCoT長の発見を可能にする、シンプルで効果的な強化学習手法である。
論文参考訳（メタデータ） (2025-04-30T07:04:19Z)
Unlocking General Long Chain-of-Thought Reasoning Capabilities of Large Language Models via Representation Engineering [59.34894142132706]
既存の作業では、いくつかの例だけをチューニングすることで、長いCoT推論の能力を効率的に引き出すことができる。このことは、LLMの一般的な能力であるCoT推論の長さを調査する動機となっている。 LLMの一般的な長大CoT推論能力を解き放つ新しい表現工学手法であるGLoREを提案する。
論文参考訳（メタデータ） (2025-03-14T11:30:37Z)
Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning? [57.17826305464394]
o1-likeモデルは、既存のLarge Language Models(LLM)の推論能力を改善するための長いチェーン・オブ・ソート(CoT)推論ステップを生成する。 DeltaBenchを導入し、異なる推論タスクのために異なるo1-likeモデルから生成された長いCoTを含む。 DeltaBenchに基づいて、生成した長いCoTのきめ細かい分析を行い、異なるo1モデルの有効性と効率を明らかにする。
論文参考訳（メタデータ） (2025-02-26T17:59:27Z)
Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [113.49074603075032]
近年の研究では、モデルをより長い思考の連鎖(CoTs)を通して考える時間を増やすことで、複雑な推論タスクにおいて大幅な改善が得られることが示されている。より長いCoTによるスケーリングが、特定のドメインにおけるLarge Language Model(LLM)の推論性能を損なうかどうかを考察する。
論文参考訳（メタデータ） (2025-02-25T10:48:05Z)
LLMs Can Easily Learn to Reason from Demonstrations Structure, not content, is what matters! [56.75518291450102]
大推論モデル(LRM)は、長いチェーン・オブ・シント(Long CoT)に従うことによって複雑な推論問題に取り組むまた,Large Language Model (LLM) は,データ効率の教師付き微調整 (SFT) とパラメータ効率の低い低ランク適応 (LoRA) により,Long CoT推論を効果的に学習できることを見出した。たった17kのCoTトレーニングサンプルで、Qwen2.5-32B-Instructモデルは、幅広い数学およびコーディングベンチマークで大幅に改善されている。
論文参考訳（メタデータ） (2025-02-11T08:48:48Z)
O1-Pruner: Length-Harmonizing Fine-Tuning for O1-Like Reasoning Pruning [98.3430004984531]
精度を維持しながら推論オーバーヘッドを最小限に抑えるため,Longth-Harmonizing Fine-Tuning (O1-Pruner)を提案する。私たちのコードはもうすぐhttps://github.com/StarDewXXX/O1-Pruner.comで公開されます。
論文参考訳（メタデータ） (2025-01-22T01:35:11Z)
Markov Chain of Thought for Efficient Mathematical Reasoning [10.678633785012691]
多段階の思考の連鎖(CoT)は、推論ステップとタスク固有のアクションの論理構造から恩恵を受ける。我々は、標準多段階CoTを思考のマルコフ連鎖(MCoT)として概念化する。
論文参考訳（メタデータ） (2024-10-23T07:53:29Z)
Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs [37.147529569445396]
Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
論文参考訳（メタデータ） (2024-06-13T14:07:02Z)
The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文参考訳（メタデータ） (2024-01-10T04:37:38Z)
Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する無効な実演でもCoT推論が可能であることを示す。
論文参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。