論文の概要: A Survey on Large Language Models for Mathematical Reasoning
- arxiv url: http://arxiv.org/abs/2506.08446v1
- Date: Tue, 10 Jun 2025 04:44:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-11 15:11:41.475587
- Title: A Survey on Large Language Models for Mathematical Reasoning
- Title（参考訳）: 数学的推論のための大規模言語モデルの検討
- Authors: Peng-Yuan Wang, Tian-Shuo Liu, Chenyang Wang, Yi-Di Wang, Shu Yan, Cheng-Xing Jia, Xu-Hui Liu, Xin-Wei Chen, Jia-Cheng Xu, Ziniu Li, Yang Yu,
- Abstract要約: 本研究では,大規模言語モデル(LLM)における数学的推論能力の発達について検討する。
我々は,教師付き微調整や強化学習などの微調整アプローチから,訓練不要なプロンプトまで,数学的推論を強化する手法をレビューする。
顕著な進歩にもかかわらず、キャパシティ、効率、一般化の点で根本的な課題は残る。
- 参考スコア（独自算出の注目度）: 13.627895103752783
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mathematical reasoning has long represented one of the most fundamental and challenging frontiers in artificial intelligence research. In recent years, large language models (LLMs) have achieved significant advances in this area. This survey examines the development of mathematical reasoning abilities in LLMs through two high-level cognitive phases: comprehension, where models gain mathematical understanding via diverse pretraining strategies, and answer generation, which has progressed from direct prediction to step-by-step Chain-of-Thought (CoT) reasoning. We review methods for enhancing mathematical reasoning, ranging from training-free prompting to fine-tuning approaches such as supervised fine-tuning and reinforcement learning, and discuss recent work on extended CoT and "test-time scaling". Despite notable progress, fundamental challenges remain in terms of capacity, efficiency, and generalization. To address these issues, we highlight promising research directions, including advanced pretraining and knowledge augmentation techniques, formal reasoning frameworks, and meta-generalization through principled learning paradigms. This survey tries to provide some insights for researchers interested in enhancing reasoning capabilities of LLMs and for those seeking to apply these techniques to other domains.
- Abstract（参考訳）: 数学的推論は、長い間、人工知能研究における最も基本的で挑戦的なフロンティアの1つであった。
近年,大規模言語モデル (LLM) がこの分野で大きな進歩を遂げている。
本研究では, LLMにおける数学的推論能力の発達を, モデルが様々な事前学習戦略を通じて数学的理解を得るための理解と, 直接予測からステップバイステップのChain-of-Thought(CoT)推論へと進展した回答生成という2つの高い認知段階を通じて検討する。
我々は,教師付き微調整や強化学習といった微調整アプローチから,訓練不要のプロンプトから,微調整まで,数学的推論の強化手法を概観し,CoTの拡張と「テストタイムスケーリング」に関する最近の研究について論じる。
顕著な進歩にもかかわらず、キャパシティ、効率、一般化の点で根本的な課題は残る。
これらの課題に対処するため,先進的な事前学習と知識向上技術,形式的推論フレームワーク,原則的学習パラダイムによるメタ汎用化など,有望な研究方向性を強調した。
本調査は,LSMの推論能力向上に関心のある研究者や,これらの技術を他の領域に適用しようとする研究者に,いくつかの洞察を提供することを目的とする。
関連論文リスト
- Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。
大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。
本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
論文 参考訳（メタデータ） (2025-04-04T04:04:56Z) - A Survey of Scaling in Large Language Model Reasoning [62.92861523305361]
大規模言語モデル(LLM)推論におけるスケーリングの総合的な検討について述べる。
我々は、多段階推論と論理的整合性を改善する推論ステップにおけるスケーリングを分析する。
我々は、反復モデルの改善による最適化に焦点を当て、トレーニング可能な推論のスケーリングについて論じる。
論文 参考訳（メタデータ） (2025-04-02T23:51:27Z) - A Survey of Efficient Reasoning for Large Reasoning Models: Language, Multimodality, and Beyond [88.5807076505261]
大規模推論モデル (LRM) は, 推論中におけるチェーン・オブ・ソート (CoT) の推論長を拡大することにより, 高い性能向上を示した。
懸念が高まっているのは、過度に長い推論の痕跡を生み出す傾向にある。
この非効率性は、トレーニング、推論、現実のデプロイメントに重大な課題をもたらす。
論文 参考訳（メタデータ） (2025-03-27T15:36:30Z) - Large Language Models Post-training: Surveying Techniques from Alignment to Reasoning [185.51013463503946]
大規模言語モデル(LLM)は、自然言語処理を根本的に変革し、会話システムから科学的探索まで、さまざまな領域で欠かせないものにしている。
これらの課題は、制限された推論能力、倫理的不確実性、最適なドメイン固有のパフォーマンスといった欠点に対処するために、先進的な訓練後言語モデル(PoLM)を必要とする。
本稿では,タスク固有の精度を向上するファインチューニング,倫理的コヒーレンスと人間の嗜好との整合性を保証するアライメント,報酬設計の課題によらず多段階の推論を進める推論,統合と適応の5つのパラダイムを体系的に追跡したPoLMの総合的な調査について述べる。
論文 参考訳（メタデータ） (2025-03-08T05:41:42Z) - Advancing Reasoning in Large Language Models: Promising Methods and Approaches [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて著しく成功している。
複雑な推論スパンニング論理推論、数学的問題解決、コモンセンス推論、そして多段階推論を実行する能力は、人間の期待に届かない。
本調査は, LLMにおける推論向上技術に関する総合的なレビューを提供する。
論文 参考訳（メタデータ） (2025-02-05T23:31:39Z) - Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models [33.13238566815798]
大規模言語モデル(LLM)は、複雑な推論タスクに対処するためにそれらを活用することに大きな研究の関心を呼んだ。
最近の研究は、LLMがテスト時間推論中により多くのトークンで"考える"ことを奨励することは、推論の精度を著しく向上させることを示した。
OpenAIのo1シリーズの導入は、この研究の方向性において重要なマイルストーンである。
論文 参考訳（メタデータ） (2025-01-16T17:37:58Z) - A Survey of Reasoning with Foundation Models [235.7288855108172]
推論は、交渉、医療診断、刑事捜査など、様々な現実世界の環境において重要な役割を担っている。
本稿では,推論に適応する基礎モデルを提案する。
次に、基礎モデルにおける推論能力の出現の背後にある潜在的な将来方向を掘り下げる。
論文 参考訳（メタデータ） (2023-12-17T15:16:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。