論文の概要: A Survey on Feedback-based Multi-step Reasoning for Large Language Models on Mathematics

• arxiv url: http://arxiv.org/abs/2502.14333v1
• Date: Thu, 20 Feb 2025 07:31:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 22:18:11.558027
• Title: A Survey on Feedback-based Multi-step Reasoning for Large Language Models on Mathematics
• Title（参考訳）: 数学における大規模言語モデルに対するフィードバックに基づく多段階推論の検討
• Authors: Ting-Ruen Wei, Haowei Liu, Xuyang Wu, Yi Fang,
• Abstract要約: 我々は,LLMの多段階数学推論を強化するために,ステップレベルのフィードバックと結果レベルの戦略を調査する。 LLMのスケーリングにおいて,多段階の推論が重要な要素となるため,さらなる研究の促進と理解を深めるための基盤の確立が望まれる。
• 参考スコア（独自算出の注目度）: 9.681821524089761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in large language models (LLM) found chain-of-thought prompting strategies to improve the reasoning ability of LLMs by encouraging problem solving through multiple steps. Therefore, subsequent research aimed to integrate the multi-step reasoning process into the LLM itself through process rewards as feedback and achieved improvements over prompting strategies. Due to the cost of step-level annotation, some turn to outcome rewards as feedback. Aside from these training-based approaches, training-free techniques leverage frozen LLMs or external tools for feedback at each step to enhance the reasoning process. With the abundance of work in mathematics due to its logical nature, we present a survey of strategies utilizing feedback at the step and outcome levels to enhance multi-step math reasoning for LLMs. As multi-step reasoning emerges a crucial component in scaling LLMs, we hope to establish its foundation for easier understanding and empower further research.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、複数のステップによる問題解決を促進することによって、LLMの推論能力を改善するためのチェーン・オブ・シークレット戦略を発見した。 そのため、その後の研究は、プロセス報酬をフィードバックとしてLLM自体に多段階の推論プロセスを統合することを目的としており、戦略の推進よりも改善が達成された。 ステップレベルのアノテーションのコストのため、フィードバックとして結果の報酬に切り替える場合もあります。 これらのトレーニングベースのアプローチとは別に、トレーニングフリーの手法では、各ステップで凍結したLCMや外部ツールを活用して、推論プロセスを強化する。 そこで本研究では,LLMの多段階数学推論を強化するために,段階的および結果レベルでのフィードバックを活用した戦略について検討する。 LLMのスケーリングにおいて,多段階の推論が重要な要素となるため,さらなる研究の促進と理解を深めるための基盤の確立が望まれる。

関連論文リスト

• A Survey of Scaling in Large Language Model Reasoning [62.92861523305361]
  大規模言語モデル(LLM)推論におけるスケーリングの総合的な検討について述べる。 我々は、多段階推論と論理的整合性を改善する推論ステップにおけるスケーリングを分析する。 我々は、反復モデルの改善による最適化に焦点を当て、トレーニング可能な推論のスケーリングについて論じる。
  論文  参考訳（メタデータ） (2025-04-02T23:51:27Z)
• R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization [86.32257216965229]
  そこで本稿では,MLLMの自己改善を支援するオンライン強化学習フレームワークを提案する。 StepGRPOは、Step-wise Reasoning Accuracy Reward (StepRAR)とStep-wise Reasoning Validity Reward (StepRVR)の2つの新しいルールベースの推論報酬を導入した。 提案するStepGRPOでは,ステップバイステップ推論に優れた機能を持つMLLMのシリーズであるR1-VLを紹介する。
  論文  参考訳（メタデータ） (2025-03-17T08:51:44Z)
• ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [54.787341008881036]
  Reinforced Meta-thinking Agents(ReMA)は,MARL(Multi-Agent Reinforcement Learning)を利用したメタ思考行動の抽出手法である。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。 実験の結果、ReMAは複雑な推論タスクにおいて単一エージェントRLベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-12T16:05:31Z)
• Advancing Reasoning in Large Language Models: Promising Methods and Approaches [0.0]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて著しく成功している。 複雑な推論スパンニング論理推論、数学的問題解決、コモンセンス推論、そして多段階推論を実行する能力は、人間の期待に届かない。 本調査は, LLMにおける推論向上技術に関する総合的なレビューを提供する。
  論文  参考訳（メタデータ） (2025-02-05T23:31:39Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Can LLMs plan paths with extra hints from solvers? [2.874944508343474]
  大規模言語モデル(LLM)は、自然言語処理、数学的問題解決、プログラム合成に関連するタスクにおいて顕著な能力を示している。 本稿では,従来のロボット計画課題の解決において,解法生成フィードバックを統合することでLCM性能を向上させる手法について検討する。
  論文  参考訳（メタデータ） (2024-10-07T14:00:08Z)
• BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
  我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。 より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-05T09:27:52Z)
• DOTS: Learning to Reason Dynamically in LLMs via Optimal Reasoning Trajectories Search [37.16633337724158]
  DOTS は LLM が最適推論軌道探索によって動的に推論できるアプローチである。 提案手法は静的推論手法とバニラ命令チューニング手法より一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-04T18:58:09Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Can LLMs Solve longer Math Word Problems Better? [47.227621867242]
  数学語問題(MWP)は、大規模言語モデル(LLM)の能力を評価する上で重要な役割を果たす。 より長い文脈が数学的推論に与える影響は未解明のままである。 本研究は文脈長一般化可能性(CoLeG)の研究の先駆者である。
  論文  参考訳（メタデータ） (2024-05-23T17:13:50Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models [122.19845578690466]
  Step-Back Promptingは、LLMが抽象化を行い、特定の詳細を含むインスタンスから高レベルの概念と第一原則を導出することを可能にする。 推論を導くために概念と原則を用いることで、LLMはソリューションへの正しい推論パスに従うことで、その能力を大幅に向上します。
  論文  参考訳（メタデータ） (2023-10-09T19:48:55Z)
• Fill in the Blank: Exploring and Enhancing LLM Capabilities for Backward Reasoning in Math Word Problems [17.80128896525717]
  後向きの推論は 比較的未調査です 後方推論は 前方推論の「逆」と見なすことができます 性能改善のための3つの異なる前方推論戦略のバリエーションを提案する。
  論文  参考訳（メタデータ） (2023-10-03T12:03:06Z)
• Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
  既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。 CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。 提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
  論文  参考訳（メタデータ） (2023-09-12T14:36:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。