論文の概要: Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models

• arxiv url: http://arxiv.org/abs/2503.09567v1
• Date: Wed, 12 Mar 2025 17:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:40:25.813798
• Title: Towards Reasoning Era: A Survey of Long Chain-of-Thought for Reasoning Large Language Models
• Title（参考訳）: 推論時代へ向けて:大規模言語モデルのロングチェーン調査
• Authors: Qiguang Chen, Libo Qin, Jinhao Liu, Dengyun Peng, Jiannan Guan, Peng Wang, Mengkang Hu, Yuhang Zhou, Te Gao, Wangxiang Che,
• Abstract要約: ロングチェーン・オブ・ソート(Long CoT)特性は推論能力を高め、複雑な問題の解決を可能にする。 まず、Long CoTとShort CoTを区別し、現在の推論パラダイムを分類する新しい分類法を導入する。 次に,Long CoTの出現やオーバー思考,テストタイムスケーリングなど,これらの特徴について考察する。
• 参考スコア（独自算出の注目度）: 11.301230367955755
• License:
• Abstract: Recent advancements in reasoning with large language models (RLLMs), such as OpenAI-O1 and DeepSeek-R1, have demonstrated their impressive capabilities in complex domains like mathematics and coding. A central factor in their success lies in the application of long chain-of-thought (Long CoT) characteristics, which enhance reasoning abilities and enable the solution of intricate problems. However, despite these developments, a comprehensive survey on Long CoT is still lacking, limiting our understanding of its distinctions from traditional short chain-of-thought (Short CoT) and complicating ongoing debates on issues like "overthinking" and "test-time scaling." This survey seeks to fill this gap by offering a unified perspective on Long CoT. (1) We first distinguish Long CoT from Short CoT and introduce a novel taxonomy to categorize current reasoning paradigms. (2) Next, we explore the key characteristics of Long CoT: deep reasoning, extensive exploration, and feasible reflection, which enable models to handle more complex tasks and produce more efficient, coherent outcomes compared to the shallower Short CoT. (3) We then investigate key phenomena such as the emergence of Long CoT with these characteristics, including overthinking, and test-time scaling, offering insights into how these processes manifest in practice. (4) Finally, we identify significant research gaps and highlight promising future directions, including the integration of multi-modal reasoning, efficiency improvements, and enhanced knowledge frameworks. By providing a structured overview, this survey aims to inspire future research and further the development of logical reasoning in artificial intelligence.
• Abstract（参考訳）: OpenAI-O1やDeepSeek-R1のような大規模言語モデル(RLLM)を用いた推論の最近の進歩は、数学やコーディングのような複雑な領域において、その印象的な能力を実証している。 彼らの成功の主な要因は、推論能力を高め、複雑な問題の解決を可能にするロングチェーン・オブ・ソート(Long CoT)特性の適用である。 しかしながら、これらの発展にもかかわらず、Long CoTに関する包括的な調査は依然として欠如しており、従来の短チェーン(Short CoT)との違いの理解を制限し、"過度な考え"や"テストタイムスケーリング"といった問題に関して進行中の議論を複雑にしている。 この調査はLong CoTの統一的な視点を提供することで、このギャップを埋めようとしている。 1)Long CoTとShort CoTを区別し,現在の推論パラダイムを分類する新しい分類法を導入する。 次に,Long CoT の重要な特徴として,より複雑なタスクをモデルで処理し,より浅いShort CoT と比較してより効率的で一貫性のある結果が得られる,深い推論,広範囲な探索,実現可能なリフレクションについて検討する。 (3)Long CoTの出現,過度な考察,テストタイムのスケーリングなど,これらのプロセスが実際にどのように現れるのか,といった重要な現象を考察する。 (4) 最後に,多モーダル推論の統合,効率の改善,知識フレームワークの強化など,重要な研究ギャップを明らかにし,将来的な方向性を明らかにする。 構造化された概要を提供することで、この調査は将来の研究を刺激し、人工知能における論理的推論の発展を促進することを目的としている。

関連論文リスト

• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models [33.13238566815798]
  大規模言語モデル(LLM)は、複雑な推論タスクに対処するためにそれらを活用することに大きな研究の関心を呼んだ。 最近の研究は、LLMがテスト時間推論中により多くのトークンで"考える"ことを奨励することは、推論の精度を著しく向上させることを示した。 OpenAIのo1シリーズの導入は、この研究の方向性において重要なマイルストーンである。
  論文  参考訳（メタデータ） (2025-01-16T17:37:58Z)
• Understanding Reasoning in Chain-of-Thought from the Hopfieldian View [17.18897746431302]
  本稿では,認知神経科学における認知のホップフィールド的視点に基づく新しい視点を紹介する。 我々は, CoT(Chain-of-Thought)推論と, 刺激, 行動, 神経集団, 表現空間といった重要な認知要素の関連性を確立する。 我々は,低次元表現空間のロバスト性を利用して,CoTにおける推論過程のロバスト性を高めるRepresentation-of-Thought(RoT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-04T16:55:30Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
  思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。 プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
  論文  参考訳（メタデータ） (2024-01-10T04:37:38Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)
• Towards Better Chain-of-Thought Prompting Strategies: A Survey [60.75420407216108]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の促進戦略として使用すると,その印象的な強度を示す。 近年,CoTの促進効果が注目されている。 この調査は、関連する研究全般の参考になるかもしれない。
  論文  参考訳（メタデータ） (2023-10-08T01:16:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。