論文の概要: Towards Intrinsic Self-Correction Enhancement in Monte Carlo Tree Search Boosted Reasoning via Iterative Preference Learning

• arxiv url: http://arxiv.org/abs/2412.17397v1
• Date: Mon, 23 Dec 2024 08:51:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:53:14.089102
• Title: Towards Intrinsic Self-Correction Enhancement in Monte Carlo Tree Search Boosted Reasoning via Iterative Preference Learning
• Title（参考訳）: 反復選好学習による推論を促進したモンテカルロ木探索における固有の自己補正向上に向けて
• Authors: Huchen Jiang, Yangyang Ma, Chaofan Ding, Kexin Luan, Xinhan Di,
• Abstract要約: 我々は、ステップワイズ選好学習を活用し、強化学習による自己検証を強化する。 算術的推論タスクの評価において,本手法は MaTH 上で OpenMath2-Llama3.1-8B,dart-math-mistral-7b-uniform より優れている。
• 参考スコア（独自算出の注目度）: 2.1637240640145343
• License:
• Abstract: With current state-of-the-art approaches aimed at enhancing the reasoning capabilities of Large Language Models(LLMs) through iterative preference learning inspired by AlphaZero, we propose to further enhance the step-wise reasoning capabilities through intrinsic self-correction to some extent. Our work leverages step-wise preference learning to enhance self-verification via reinforcement learning. We initially conduct our work through a two-stage training procedure. At the first stage, the self-correction reasoning ability of an LLM is enhanced through its own predictions, relying entirely on self-generated data within the intrinsic self-correction to some extent. At the second stage, the baseline step-wise preference learning is leveraged via the application of the enhanced self-correct policy achieved at the first stage. In the evaluation of arithmetic reasoning tasks, our approach outperforms OpenMath2-Llama3.1-8B, dart-math-mistral-7b-uniform on MATH with increases in accuracy to 71.34%(+4.18%) and 48.06%(+4.94%) and LLama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.1 on GSM8K with increases in accuracy to 86.76%(+2.00%) and 38.06%(+2.28%).
• Abstract（参考訳）: 大規模言語モデル(LLM)の推論能力をAlphaZeroにインスパイアされた反復的嗜好学習により向上することを目的とした現在の最先端のアプローチにより、本質的な自己補正による段階的推論能力をある程度向上することを提案する。 我々の研究は、ステップワイドな選好学習を活用して、強化学習による自己検証を強化する。 最初は2段階のトレーニング手順で作業を行います。 最初の段階では、LLMの自己補正推論能力は、固有の自己補正内の自己生成データにある程度依存して、自身の予測によって強化される。 第2段階では、第1段階で達成された自己正当性向上政策の適用により、基本的段階的嗜好学習が活用される。 算術的推論タスクの評価では、精度が71.34%(+4.18%)、48.06%(+4.94%)、LLama-3.1-8B-Instruct-v0.1(GSM8K)、Mistral-7B-Instruct-v0.1(+2.00%)、精度が86.76%(+2.00%)、38.06%(+2.28%)に向上する。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Learning to Love Edge Cases in Formative Math Assessment: Using the AMMORE Dataset and Chain-of-Thought Prompting to Improve Grading Accuracy [0.0]
  本稿では,Rori による 53,000 個の質問応答対の新たなデータセットである AMMORE を紹介する。 2つの実験により,大規模言語モデル(LLM)を用いて,難解な学生の回答を段階的に評価する。
  論文  参考訳（メタデータ） (2024-09-26T14:51:40Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• CPL: Critical Plan Step Learning Boosts LLM Generalization in Reasoning Tasks [2.9449838351181374]
  後学習,特に強化学習は,大規模言語モデル(LLM)の新しい学習パラダイムとなった モデル一般化を強化するための高レベルの抽象計画について,アクション空間内での探索を提案する。 GSM8KとMATHを専門にトレーニングした本手法は,性能を著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-09-13T08:59:31Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• Advancing Process Verification for Large Language Models via Tree-Based Preference Learning [23.63889344974957]
  Tree-based Preference Learning Verifier (Tree-PLV) は、最優先探索アルゴリズムを用いて推論木を構築し、優先訓練のためにステップレベルのペアデータを収集する新しいアプローチである。 我々は,木-PLVを算術的および常識的推論タスクの範囲で実証的に評価し,既存のベンチマークを著しく上回る結果を得た。
  論文  参考訳（メタデータ） (2024-06-29T10:09:49Z)
• Efficient Continual Pre-training by Mitigating the Stability Gap [68.49269649759005]
  本研究では,Large Language Models (LLM) の継続事前学習における挙動について検討する。 固定された計算予算内でのLLM性能を向上させるための3つの効果的な戦略を提案する。 当社の戦略は,OpenLlama-3Bモデルの平均医療タスク性能を36.2%から40.7%に改善し,当初のトレーニング予算の40%に過ぎなかった。
  論文  参考訳（メタデータ） (2024-06-21T02:28:37Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
  人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。 本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。 提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
  論文  参考訳（メタデータ） (2023-11-16T09:07:34Z)
• Self-critical Sequence Training for Automatic Speech Recognition [25.06635361326706]
  本稿では,自己臨界シーケンストレーニング(SCST)と呼ばれる最適化手法を提案する。 強化学習(RL)に基づく手法として、SCSTはトレーニング基準とWERを関連付けるために、カスタマイズされた報酬関数を利用する。 その結果,提案したSCSTは,WERの基準値に対して,それぞれ8.7%,7.8%の相対的な改善が得られた。
  論文  参考訳（メタデータ） (2022-04-13T09:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。