論文の概要: Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models

• arxiv url: http://arxiv.org/abs/2503.09567v2
• Date: Thu, 13 Mar 2025 04:34:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 12:35:47.669539
• Title: Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models
• Title（参考訳）: 推論時代へ向けて:大規模言語モデルのロングチェーン調査
• Authors: Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiannan Guan, Peng Wang, Mengkang Hu, Yuhang Zhou, Te Gao, Wanxiang Che,
• Abstract要約: ロングチェーン・オブ・ソート(Long CoT)特性は推論能力を高め、複雑な問題の解決を可能にする。 まず、Long CoTとShort CoTを区別し、現在の推論パラダイムを分類する新しい分類法を導入する。 次に,Long CoTの出現やオーバー思考,テストタイムスケーリングなど,これらの特徴について考察する。
• 参考スコア（独自算出の注目度）: 39.781889862599854
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Recent advancements in reasoning with large language models (RLLMs), such as OpenAI-O1 and DeepSeek-R1, have demonstrated their impressive capabilities in complex domains like mathematics and coding. A central factor in their success lies in the application of long chain-of-thought (Long CoT) characteristics, which enhance reasoning abilities and enable the solution of intricate problems. However, despite these developments, a comprehensive survey on Long CoT is still lacking, limiting our understanding of its distinctions from traditional short chain-of-thought (Short CoT) and complicating ongoing debates on issues like "overthinking" and "test-time scaling." This survey seeks to fill this gap by offering a unified perspective on Long CoT. (1) We first distinguish Long CoT from Short CoT and introduce a novel taxonomy to categorize current reasoning paradigms. (2) Next, we explore the key characteristics of Long CoT: deep reasoning, extensive exploration, and feasible reflection, which enable models to handle more complex tasks and produce more efficient, coherent outcomes compared to the shallower Short CoT. (3) We then investigate key phenomena such as the emergence of Long CoT with these characteristics, including overthinking, and test-time scaling, offering insights into how these processes manifest in practice. (4) Finally, we identify significant research gaps and highlight promising future directions, including the integration of multi-modal reasoning, efficiency improvements, and enhanced knowledge frameworks. By providing a structured overview, this survey aims to inspire future research and further the development of logical reasoning in artificial intelligence.
• Abstract（参考訳）: OpenAI-O1やDeepSeek-R1のような大規模言語モデル(RLLM)を用いた推論の最近の進歩は、数学やコーディングのような複雑な領域において、その印象的な能力を実証している。 彼らの成功の主な要因は、推論能力を高め、複雑な問題の解決を可能にするロングチェーン・オブ・ソート(Long CoT)特性の適用である。 しかしながら、これらの発展にもかかわらず、Long CoTに関する包括的な調査は依然として欠如しており、従来の短チェーン(Short CoT)との違いの理解を制限し、"過度な考え"や"テストタイムスケーリング"といった問題に関して進行中の議論を複雑にしている。 この調査はLong CoTの統一的な視点を提供することで、このギャップを埋めようとしている。 1)Long CoTとShort CoTを区別し,現在の推論パラダイムを分類する新しい分類法を導入する。 次に,Long CoT の重要な特徴として,より複雑なタスクをモデルで処理し,より浅いShort CoT と比較してより効率的で一貫性のある結果が得られる,深い推論,広範囲な探索,実現可能なリフレクションについて検討する。 (3)Long CoTの出現,過度な考察,テストタイムのスケーリングなど,これらのプロセスが実際にどのように現れるのか,といった重要な現象を考察する。 (4) 最後に,多モーダル推論の統合,効率の改善,知識フレームワークの強化など,重要な研究ギャップを明らかにし,将来的な方向性を明らかにする。 構造化された概要を提供することで、この調査は将来の研究を刺激し、人工知能における論理的推論の発展を促進することを目的としている。

関連論文リスト

• Efficient Reasoning Models: A Survey [52.96232442322824]
  本調査は,近年の効率的な推論の進歩を包括的に概観することを目的としている。 1)短い圧縮CoTを簡潔で効果的な推論チェーンに、(2)より小さい - 強力な推論能力を持つコンパクトな言語モデルを開発する、(3)より高速に、という3つの重要な方向性に分類する。
  論文  参考訳（メタデータ） (2025-04-15T06:28:00Z)
• A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond [88.5807076505261]
  大規模推論モデル (LRM) は, 推論中におけるチェーン・オブ・ソート (CoT) の推論長を拡大することにより, 高い性能向上を示した。 懸念が高まっているのは、過度に長い推論の痕跡を生み出す傾向にある。 この非効率性は、トレーニング、推論、現実のデプロイメントに重大な課題をもたらす。
  論文  参考訳（メタデータ） (2025-03-27T15:36:30Z)
• Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning? [57.17826305464394]
  o1-likeモデルは、既存のLarge Language Models(LLM)の推論能力を改善するための長いチェーン・オブ・ソート(CoT)推論ステップを生成する。 DeltaBenchを導入し、異なる推論タスクのために異なるo1-likeモデルから生成された長いCoTを含む。 DeltaBenchに基づいて、生成した長いCoTのきめ細かい分析を行い、異なるo1モデルの有効性と効率を明らかにする。
  論文  参考訳（メタデータ） (2025-02-26T17:59:27Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models [33.13238566815798]
  大規模言語モデル(LLM)は、複雑な推論タスクに対処するためにそれらを活用することに大きな研究の関心を呼んだ。 最近の研究は、LLMがテスト時間推論中により多くのトークンで"考える"ことを奨励することは、推論の精度を著しく向上させることを示した。 OpenAIのo1シリーズの導入は、この研究の方向性において重要なマイルストーンである。
  論文  参考訳（メタデータ） (2025-01-16T17:37:58Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
  思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。 プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
  論文  参考訳（メタデータ） (2024-01-10T04:37:38Z)
• Towards Better Chain-of-Thought Prompting Strategies: A Survey [60.75420407216108]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の促進戦略として使用すると,その印象的な強度を示す。 近年,CoTの促進効果が注目されている。 この調査は、関連する研究全般の参考になるかもしれない。
  論文  参考訳（メタデータ） (2023-10-08T01:16:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。