論文の概要: Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2501.09686v3
• Date: Thu, 23 Jan 2025 08:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:57:02.468916
• Title: Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models
• Title（参考訳）: 大規模推論モデルに向けて:大規模言語モデルを用いた強化推論に関する調査
• Authors: Fengli Xu, Qianyue Hao, Zefang Zong, Jingwei Wang, Yunke Zhang, Jingyi Wang, Xiaochong Lan, Jiahui Gong, Tianjian Ouyang, Fanjin Meng, Chenyang Shao, Yuwei Yan, Qinglong Yang, Yiwen Song, Sijian Ren, Xinyuan Hu, Yu Li, Jie Feng, Chen Gao, Yong Li,
• Abstract要約: 大規模言語モデル(LLM)は、複雑な推論タスクに対処するためにそれらを活用することに大きな研究の関心を呼んだ。 最近の研究は、LLMがテスト時間推論中により多くのトークンで"考える"ことを奨励することは、推論の精度を著しく向上させることを示した。 OpenAIのo1シリーズの導入は、この研究の方向性において重要なマイルストーンである。
• 参考スコア（独自算出の注目度）: 33.13238566815798
• License:
• Abstract: Language has long been conceived as an essential tool for human reasoning. The breakthrough of Large Language Models (LLMs) has sparked significant research interest in leveraging these models to tackle complex reasoning tasks. Researchers have moved beyond simple autoregressive token generation by introducing the concept of "thought" -- a sequence of tokens representing intermediate steps in the reasoning process. This innovative paradigm enables LLMs' to mimic complex human reasoning processes, such as tree search and reflective thinking. Recently, an emerging trend of learning to reason has applied reinforcement learning (RL) to train LLMs to master reasoning processes. This approach enables the automatic generation of high-quality reasoning trajectories through trial-and-error search algorithms, significantly expanding LLMs' reasoning capacity by providing substantially more training data. Furthermore, recent studies demonstrate that encouraging LLMs to "think" with more tokens during test-time inference can further significantly boost reasoning accuracy. Therefore, the train-time and test-time scaling combined to show a new research frontier -- a path toward Large Reasoning Model. The introduction of OpenAI's o1 series marks a significant milestone in this research direction. In this survey, we present a comprehensive review of recent progress in LLM reasoning. We begin by introducing the foundational background of LLMs and then explore the key technical components driving the development of large reasoning models, with a focus on automated data construction, learning-to-reason techniques, and test-time scaling. We also analyze popular open-source projects at building large reasoning models, and conclude with open challenges and future research directions.
• Abstract（参考訳）: 言語は長い間、人間の推論に不可欠なツールとして考えられてきた。 LLM(Large Language Models)のブレークスルーは、複雑な推論タスクに取り組むためにこれらのモデルを活用することに対する大きな研究の関心を喚起した。 研究者は、推論プロセスの中間ステップを表すトークンのシーケンスである"Thought"の概念を導入することで、単純な自己回帰トークン生成を超えてきた。 この革新的なパラダイムにより、LLMはツリー探索や反射的思考といった複雑な人間の推論プロセスを模倣することができる。 近年,LLMの習得過程に強化学習(RL)を適用している。 このアプローチにより、試行錯誤探索アルゴリズムによる高品質な推論軌道の自動生成が可能となり、LLMの推論能力は大幅に拡大される。 さらに、最近の研究では、テスト時間推論中により多くのトークンでLLMを"考える"ことを奨励することで、推論の精度が大幅に向上することを示した。 そのため、トレインタイムとテストタイムのスケーリングを組み合わせることで、新しい研究フロンティア(Large Reasoning Model)が示される。 OpenAIのo1シリーズの導入は、この研究の方向性において重要なマイルストーンである。 本稿では,LLM推論の最近の進歩を概観する。 まず、LLMの基本的背景を紹介し、次に、自動データ構築、学習から推論技術、テストタイムスケーリングなど、大規模な推論モデルの開発を推進する重要な技術コンポーネントについて調べる。 また、大規模な推論モデルの構築において人気のあるオープンソースプロジェクトを分析し、オープンな課題と今後の研究方向性を結論付けます。

関連論文リスト

• Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• Improving Causal Reasoning in Large Language Models: A Survey [16.55801836321059]
  因果推論は知性の重要な側面であり、問題解決、意思決定、世界理解に不可欠である。 大規模言語モデル(LLM)は出力に対して有理性を生成することができるが、因果推論を確実に行う能力は未だ不明である。
  論文  参考訳（メタデータ） (2024-10-22T04:18:19Z)
• From Linguistic Giants to Sensory Maestros: A Survey on Cross-Modal Reasoning with Large Language Models [56.9134620424985]
  クロスモーダル推論(CMR)は、より高度な人工知能システムへの進化における重要な能力として、ますます認識されている。 CMRタスクに取り組むためにLLM(Large Language Models)をデプロイする最近のトレンドは、その有効性を高めるためのアプローチの新たな主流となっている。 本調査では,LLMを用いてCMRで適用された現在の方法論を,詳細な3階層分類に分類する。
  論文  参考訳（メタデータ） (2024-09-19T02:51:54Z)
• Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey [25.732397636695882]
  大規模言語モデル(LLM)は、最近、推論を含むタスクで顕著なパフォーマンスを示している。 これらの成功にもかかわらず、LLMの推論能力の深さは未だ不明である。
  論文  参考訳（メタデータ） (2024-04-02T11:46:31Z)
• Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
  収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
  論文  参考訳（メタデータ） (2024-02-01T15:18:33Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Exploring Self-supervised Logic-enhanced Training for Large Language Models [59.227222647741094]
  本稿では,自己指導型ポストトレーニングによる論理的知識の活用の可能性について検討する。 我々はMERItの自己回帰的目的変数を考案し、パラメータサイズが30億から13億の2つのLLM系列、すなわちFLAN-T5とLLaMAと統合する。 2つの挑戦的な論理的推論ベンチマークの結果は、LogicLLMの有効性を示している。
  論文  参考訳（メタデータ） (2023-05-23T06:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。