論文の概要: AlphaMath Almost Zero: process Supervision without process

• arxiv url: http://arxiv.org/abs/2405.03553v1
• Date: Mon, 6 May 2024 15:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 13:17:09.994270
• Title: AlphaMath Almost Zero: process Supervision without process
• Title（参考訳）: AlphaMath almost Zero: Process Supervision without process
• Authors: Guoxin Chen, Minpeng Liao, Chengxi Li, Kai Fan,
• Abstract要約: モンテカルロ木探索(MCTS)フレームワークを活用することにより,手作業によるアノテーションの必要性を解消する,革新的なアプローチを導入する。 実験の結果,MCTSで拡張されたLLMによる自動生成解を用いることで,複雑な数学的推論タスクの処理能力が大幅に向上することが示唆された。
• 参考スコア（独自算出の注目度）: 6.318873143509028
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in large language models (LLMs) have substantially enhanced their mathematical reasoning abilities. However, these models still struggle with complex problems that require multiple reasoning steps, frequently leading to logical or numerical errors. While numerical mistakes can largely be addressed by integrating a code interpreter, identifying logical errors within intermediate steps is more challenging. Moreover, manually annotating these steps for training is not only expensive but also demands specialized expertise. In this study, we introduce an innovative approach that eliminates the need for manual annotation by leveraging the Monte Carlo Tree Search (MCTS) framework to generate both the process supervision and evaluation signals automatically. Essentially, when a LLM is well pre-trained, only the mathematical questions and their final answers are required to generate our training data, without requiring the solutions. We proceed to train a step-level value model designed to improve the LLM's inference process in mathematical domains. Our experiments indicate that using automatically generated solutions by LLMs enhanced with MCTS significantly improves the model's proficiency in dealing with intricate mathematical reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、数学的推論能力を大幅に向上させてきた。 しかし、これらのモデルは、複数の推論ステップを必要とする複雑な問題に悩まされ、しばしば論理的あるいは数値的な誤りにつながる。 数値的なミスはコードインタプリタを統合することで対処できるが、中間ステップで論理的なエラーを特定することはより難しい。 さらに、トレーニングのためにこれらのステップを手動でアノテートすることは、高価であるだけでなく、専門的な専門知識も要求する。 本研究では,モンテカルロ木探索(MCTS)フレームワークを利用して,プロセスの監視と評価の両方を自動的に生成することにより,手動によるアノテーションの必要性を解消する革新的な手法を提案する。 基本的に、LLMが十分に事前訓練されている場合、解を必要とすることなく、トレーニングデータを生成するには数学的な問題と最終的な答えしか必要ありません。 我々は、数学的領域におけるLLMの推論プロセスを改善するために設計されたステップレベルの値モデルを訓練する。 実験の結果,MCTSにより拡張されたLLMによる自動生成解を用いることで,複雑な数学的推論タスクの処理能力が大幅に向上することが示唆された。

関連論文リスト

• MLGym: A New Framework and Benchmark for Advancing AI Research Agents [51.9387884953294]
  我々はMeta MLGymとMLGym-Benchを紹介した。これはAI研究タスクにおける大規模言語モデルの評価と開発のための新しいフレームワークとベンチマークである。 これは機械学習(ML)タスクのための最初のGym環境であり、そのようなエージェントをトレーニングするための強化学習(RL)アルゴリズムの研究を可能にする。 我々は、Claude-3.5-Sonnet、Llama-3.1 405B、GPT-4o、o1-preview、Gemini-1.5 Proなどのベンチマークで、多くのフロンティア大言語モデル(LLM)を評価した。
  論文  参考訳（メタデータ） (2025-02-20T12:28:23Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• System-2 Mathematical Reasoning via Enriched Instruction Tuning [13.672967091915181]
  Enriched Instruction Tuning (EIT) は、人間とAIのフィードバックを相乗化することによって、既存の人間の注釈付き数学的データセットを充実させる手法である。 EITはGSM8Kで84.1%、MATHで32.5%の精度を達成し、最先端の微調整およびプロンプト法を超越している。
  論文  参考訳（メタデータ） (2024-12-22T10:49:27Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [64.13803241218886]
  推論問題に対するマルチエージェントLLMトレーニング(MALT)に向けた第一歩を提示する。 提案手法では,ヘテロジニアスLSMが割り当てられた逐次的マルチエージェント構成を用いる。 我々は,MATH,GSM8k,CQAにまたがるアプローチを評価し,MALT on Llama 3.1 8Bモデルでそれぞれ14.14%,7.12%,9.40%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Mars-PO: Multi-Agent Reasoning System Preference Optimization [16.145823558485393]
  大規模言語モデル(LLM)の数学的推論能力を改善するための新しいフレームワークであるMars-POを提案する。 複数のエージェントからの高品質な出力をハイブリッドな正のサンプルセットに組み合わせ、エージェント固有の負のサンプルと組み合わせて、トレーニングのための堅牢な選好ペアを構築する。 個々の弱点に対処しながら、エージェントを共有陽性のサンプルと整列させることで、Mars-POは数学的推論ベンチマークで大幅なパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2024-11-28T10:35:16Z)
• MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
  MindStarは、大言語モデルの純粋に推論に基づく探索手法である。 推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
  論文  参考訳（メタデータ） (2024-05-25T15:07:33Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。