論文の概要: Building Math Agents with Multi-Turn Iterative Preference Learning

• arxiv url: http://arxiv.org/abs/2409.02392v1
• Date: Wed, 4 Sep 2024 02:41:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 20:25:21.940414
• Title: Building Math Agents with Multi-Turn Iterative Preference Learning
• Title（参考訳）: 多段階反復選好学習を用いた数学エージェントの構築
• Authors: Wei Xiong, Chengshuai Shi, Jiaming Shen, Aviv Rosenberg, Zhen Qin, Daniele Calandriello, Misha Khalman, Rishabh Joshi, Bilal Piot, Mohammad Saleh, Chi Jin, Tong Zhang, Tianqi Liu,
• Abstract要約: 本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 56.71330214021884
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have shown that large language models' (LLMs) mathematical problem-solving capabilities can be enhanced by integrating external tools, such as code interpreters, and employing multi-turn Chain-of-Thought (CoT) reasoning. While current methods focus on synthetic data generation and Supervised Fine-Tuning (SFT), this paper studies the complementary direct preference learning approach to further improve model performance. However, existing direct preference learning algorithms are originally designed for the single-turn chat task, and do not fully address the complexities of multi-turn reasoning and external tool integration required for tool-integrated mathematical reasoning tasks. To fill in this gap, we introduce a multi-turn direct preference learning framework, tailored for this context, that leverages feedback from code interpreters and optimizes trajectory-level preferences. This framework includes multi-turn DPO and multi-turn KTO as specific implementations. The effectiveness of our framework is validated through training of various language models using an augmented prompt set from the GSM8K and MATH datasets. Our results demonstrate substantial improvements: a supervised fine-tuned Gemma-1.1-it-7B model's performance increased from 77.5% to 83.9% on GSM8K and from 46.1% to 51.2% on MATH. Similarly, a Gemma-2-it-9B model improved from 84.1% to 86.3% on GSM8K and from 51.0% to 54.5% on MATH.
• Abstract（参考訳）: 近年,大規模な言語モデル (LLM) の数学的問題解決能力は,コードインタプリタなどの外部ツールを統合し,マルチターン・チェーン・オブ・ソート(CoT)推論を採用することで向上することが示されている。 本稿では, 合成データ生成とスーパービジョンファインチューニング(SFT)に着目し, モデル性能向上のための補完的直接選好学習手法について検討する。 しかし、既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されており、ツール統合された数学的推論タスクに必要なマルチターン推論と外部ツール統合の複雑さを完全には解決していない。 このギャップを埋めるために、コードインタプリタからのフィードバックを活用し、軌道レベルの嗜好を最適化するマルチターン直接選好学習フレームワークを導入する。 このフレームワークは、特定の実装としてマルチターンDPOとマルチターンKTOを含む。 本フレームワークの有効性は,GSM8KデータセットとMATHデータセットを用いた拡張プロンプトセットを用いて,様々な言語モデルのトレーニングによって検証される。 調整したGemma-1.1-it-7Bモデルの性能はGSM8Kでは77.5%から83.9%,MATHでは46.1%から51.2%に向上した。 同様に、Gemma-2-it-9BモデルはGSM8Kでは84.1%から86.3%、MATHでは51.0%から54.5%に改善された。

関連論文リスト

• Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
  推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。 Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-04-02T16:25:30Z)
• Masked Thought: Simply Masking Partial Reasoning Steps Can Improve Mathematical Reasoning Learning of Language Models [102.72940700598055]
  推論タスクでは、小さなエラーでも不正確な結果にカスケードすることができる。 入力の摂動に頼らず、外部リソースの導入を避ける手法を開発した。 私たちのトレーニングアプローチでは、思考の連鎖の中で特定のトークンをランダムにマスクします。
  論文  参考訳（メタデータ） (2024-03-04T16:21:54Z)
• MathGenie: Generating Synthetic Data with Question Back-translation for Enhancing Mathematical Reasoning of LLMs [39.769464414087935]
  MathGenieは、小規模の問題解決データセットから多様で信頼性の高い数学問題を生成する新しい方法である。 7Bから70Bまでの各種事前学習モデルについて, 提案手法の有効性を検証するために, 新たなキュレートデータを用いて訓練を行った。 MathGenieLM-InternLM2はGSM8Kで87.7%、MATHで55.7%の精度を達成し、オープンソース言語モデルで最高のスコアを確保している。
  論文  参考訳（メタデータ） (2024-02-26T07:17:25Z)
• Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [90.73517523001149]
  本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。 翻訳を利用して,最初の多言語数学推論命令データセットMGSM8KInstructを構築した。 我々は、MathOctopusという名の強力なxMR LLMを構築するための異なるトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2023-10-31T08:09:20Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• ToRA: A Tool-Integrated Reasoning Agent for Mathematical Problem Solving [170.7899683843177]
  ToRAは、難解な数学的問題を解決するために設計されたツール統合推論エージェントのシリーズである。 ToRAモデルは、あらゆるスケールにわたる10の数学的推論データセットで、オープンソースモデルよりも大幅に優れています。 ToRA-Code-34Bは、MATHで50%を超える精度を達成する最初のオープンソースモデルである。
  論文  参考訳（メタデータ） (2023-09-29T17:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。