論文の概要: Step-Controlled DPO: Leveraging Stepwise Error for Enhanced Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2407.00782v3
• Date: Mon, 15 Jul 2024 02:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 23:57:10.053980
• Title: Step-Controlled DPO: Leveraging Stepwise Error for Enhanced Mathematical Reasoning
• Title（参考訳）: ステップ制御DPO: 数学的推論のためのステップワイズエラーの活用
• Authors: Zimu Lu, Aojun Zhou, Ke Wang, Houxing Ren, Weikang Shi, Junting Pan, Mingjie Zhan, Hongsheng Li,
• Abstract要約: ステップ制御DPOは、特定のステップでエラーを発生させる数学的推論論理の負のサンプルを生成する。 これらのサンプルをDPOトレーニングに適用することにより、SCDPOは推論エラーを理解し、正確な推論ステップを出力するようにモデルを整合させることができる。
• 参考スコア（独自算出の注目度）: 38.127313175508746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct Preference Optimization (DPO) has proven effective at improving the performance of large language models (LLMs) on downstream tasks such as reasoning and alignment. In this work, we propose Step-Controlled DPO (SCDPO), a method for automatically providing stepwise error supervision by creating negative samples of mathematical reasoning rationales that start making errors at a specified step. By applying these samples in DPO training, SCDPO can better align the model to understand reasoning errors and output accurate reasoning steps. We apply SCDPO to both code-integrated and chain-of-thought solutions, empirically showing that it consistently improves the performance compared to naive DPO on three different SFT models, including one existing SFT model and two models we finetuned. Qualitative analysis of the credit assignment of SCDPO and DPO demonstrates the effectiveness of SCDPO at identifying errors in mathematical solutions. We then apply SCDPO to an InternLM2-20B model, resulting in a 20B model that achieves high scores of 88.5% on GSM8K and 58.1% on MATH, rivaling all other open-source LLMs, showing the great potential of our method.
• Abstract（参考訳）: 直接選好最適化(DPO)は、推論やアライメントといった下流タスクにおける大規模言語モデル(LLM)の性能向上に有効であることが証明されている。 本研究では,特定のステップでエラーを発生させる数学的推論論理の負のサンプルを作成することで,段階的エラー監視を自動的に行う手法であるステップ制御型DPO(SCDPO)を提案する。 これらのサンプルをDPOトレーニングに適用することにより、SCDPOは推論エラーを理解し、正確な推論ステップを出力するようにモデルを整合させることができる。 我々は,SCDPOをコード統合とチェーン・オブ・思想の両ソリューションに適用し,既存のSFTモデルと2つのモデルを含む3つの異なるSFTモデルにおいて,単純なDPOと比較して連続的に性能を向上することを示した。 SCDPOとDPOのクレジット割り当ての質的解析は、数理解における誤りの同定におけるSCDPOの有効性を示す。 次に、SCDPOをInternLM2-20Bモデルに適用し、その結果、GSM8Kで88.5%、MATHで58.1%の高得点を達成し、他のオープンソースLCMに匹敵する20Bモデルを得る。

関連論文リスト

• The Hitchhiker's Guide to Human Alignment with *PO [43.4130314879284]
  我々は,高次パラメータの変動に対して同時に頑健であるアルゴリズムの同定に焦点をあてる。 解析の結果,広範に採用されているDPO法は,品質が劣る長大な応答を連続的に生成することがわかった。 これらの結果から,DPOアルゴリズムであるLN-DPOの精度が向上し,品質を損なうことなく,より簡潔な応答が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-07-21T17:35:20Z)
• Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs [54.05511925104712]
  本稿では,Step-DPOと呼ばれるシンプルで効果的でデータ効率のよい手法を提案する。 Step-DPOは、個々の推論ステップを、論理的に回答を評価するのではなく、優先最適化の単位として扱う。 以上の結果から,70B パラメータ以上のモデルでは,10K の選好データペアと500 Step-DPO トレーニングステップ以下では,MATH の精度が約3%向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2024-06-26T17:43:06Z)
• Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
  近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。 本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。 我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、反復的なポリシー更新を通じてナッシュ均衡を近似する。
  論文  参考訳（メタデータ） (2024-05-01T17:59:20Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks [38.63497972682599]
  本研究では,3つのシナリオにまたがるアライメント手法の性能について検討した。 我々の評価は、対話システム、推論、数学的問題解決、質問応答、真理性、マルチタスク理解など、幅広いタスクにまたがる。 重要な観察では、アライメント手法は、より小さなトレーニングデータサブセットで最適なパフォーマンスを達成し、推論タスクにおいて限られた効果を示すが、数学的問題解決には著しく影響し、特に真理性に影響を及ぼす命令付きモデルを用いることが示されている。
  論文  参考訳（メタデータ） (2024-04-23T03:55:01Z)
• Smaug: Fixing Failure Modes of Preference Optimisation with DPO-Positive [15.066029556877721]
  理論上、標準的なDPO損失は、モデルが好むサンプルの可能性を減少させる可能性があることを示す。 DPO-Positive (DPOP) は,この障害モードを回避する新しい損失関数とトレーニング手順である。 意外なことに、DPOPはさまざまなデータセットや下流タスクでDPOやその他の微調整手順より優れています。
  論文  参考訳（メタデータ） (2024-02-20T18:42:34Z)
• RS-DPO: A Hybrid Rejection Sampling and Direct Preference Optimization Method for Alignment of Large Language Models [7.676477609461592]
  人間のフィードバックからの強化学習(RLHF)は、大きな言語モデルとユーザの意図を結びつけるために広く採用されている。 DPOは、ポリシーモデルではなく、人間のアノテーションと代替LDMから生成される対照的な反応に依存している。 本稿では,サンプリングリジェクション(RS)とDPOを体系的に組み合わせることで,両課題に対処する。 提案手法は,資源環境が制限されたLLMを効果的に微調整し,ユーザ意図との整合性を向上する。
  論文  参考訳（メタデータ） (2024-02-15T16:00:58Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Fine-Tuning Language Models with Advantage-Induced Policy Alignment [80.96507425217472]
  大規模言語モデルと人間の嗜好を整合させる新しいアルゴリズムを提案する。 言語タスクにおいてPPOを常に上回り、大きなマージンを持つことを示す。 また,損失関数の設計を支援する理論的正当性も提供する。
  論文  参考訳（メタデータ） (2023-06-04T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。