論文の概要: CPL: Critical Planning Step Learning Boosts LLM Generalization in Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2409.08642v1
• Date: Fri, 13 Sep 2024 08:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 17:18:35.823801
• Title: CPL: Critical Planning Step Learning Boosts LLM Generalization in Reasoning Tasks
• Title（参考訳）: CPL:批判的計画段階の学習は、推論タスクにおけるLLMの一般化を促進する
• Authors: Tianlong Wang, Xueting Han, Jing Bai,
• Abstract要約: 批判計画ステップ学習(CPL)を導入し,多段階推論タスクにおける多様な計画ステップについて検討する。 長期的な結果に基づいて、CPLはステップレベルの計画の好みを学び、モデルの計画能力を改善する。 Step-APOは、MCTSを介して得られるステップレベルの選好ペアをDPOに統合する。
• 参考スコア（独自算出の注目度）: 2.3978924931284986
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training large language models (LLMs) to develop reasoning capabilities has proven effective across diverse domains, such as mathematical reasoning and code generation. However, existing methods primarily focus on improving task-specific reasoning but have not adequately addressed the model's generalization capabilities across a broader range of reasoning tasks. To tackle this challenge, we introduce Critical Planning Step Learning (CPL), which leverages Monte Carlo Tree Search (MCTS) to explore diverse planning steps in multi-step reasoning tasks. Based on long-term outcomes, CPL learns step-level planning preferences to improve the model's planning capabilities and, consequently, its general reasoning capabilities. Furthermore, while effective in many scenarios for aligning LLMs, existing preference learning approaches like Direct Preference Optimization (DPO) struggle with complex multi-step reasoning tasks due to their inability to capture fine-grained supervision at each step. We propose Step-level Advantage Preference Optimization (Step-APO), which integrates an advantage estimate for step-level preference pairs obtained via MCTS into the DPO. This enables the model to more effectively learn critical intermediate planning steps, thereby further improving its generalization in reasoning tasks. Experimental results demonstrate that our method, trained exclusively on GSM8K and MATH, not only significantly improves performance on GSM8K (+10.5%) and MATH (+6.5%), but also enhances out-of-domain reasoning benchmarks, such as ARC-C (+4.0%), BBH (+1.8%), MMLU-STEM (+2.2%), and MMLU (+0.9%).
• Abstract（参考訳）: 推論能力を開発するための学習後の大規模言語モデル(LLM)は、数学的推論やコード生成など、様々な領域で有効であることが証明されている。 しかし、既存の手法は主にタスク固有の推論を改善することに重点を置いているが、広範囲の推論タスクにわたってモデルの一般化能力に適切に対処していない。 この課題に対処するために,モンテカルロ木探索(MCTS)を活用し,多段階推論タスクにおける多様な計画ステップを探索するクリティカルプランニングステップ学習(CPL)を紹介した。 長期的な結果に基づいて、CPLは、モデルの計画能力を改善し、その結果、一般的な推論能力を向上させるために、ステップレベルの計画の好みを学ぶ。 さらに、LLMの整合性に多くのシナリオにおいて有効であるが、DPO(Direct Preference Optimization)のような既存の選好学習アプローチは、各ステップできめ細かい監督を捉えることができないため、複雑な多段階推論タスクに苦慮している。 本稿では,MCTSを介して得られるステップレベルの選好ペアの利点推定をDPOに組み込むステップレベルアドバンテージ選好最適化(Step-APO)を提案する。 これにより、モデルが重要な中間計画ステップをより効果的に学習し、推論タスクにおける一般化をさらに改善することができる。 GSM8K(+10.5%),MATH(+6.5%),ARC-C(+4.0%),BBH(+1.8%),MMLU-STEM(+2.2%),MMLU(+0.9%),などの領域外推論ベンチマークも向上した。

関連論文リスト

• On the Emergence of Thinking in LLMs I: Searching for the Right Intuition [34.32871896067864]
  自己学習による強化学習(RLSP)というポストトレーニングフレームワークを提案する。 RLSPは、推論プロセスの人間または合成的なデモンストレーションによる微調整、多種多様な効率的な推論行動を促進するための探索報酬信号の使用、報酬ハッキングを予防しながら正当性を確保するための結果検証器によるRLトレーニングの3段階を含む。 数学領域における実証的研究は、RLSPが推論を改善することを示している。
  論文  参考訳（メタデータ） (2025-02-10T18:52:04Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• Efficient Reinforcement Learning with Large Language Model Priors [18.72288751305885]
  大規模言語モデル(LLM)は、最近、強力な汎用ツールとして登場した。 本稿では,従来の行動分布としてLLMを扱い,それらをRLフレームワークに統合することを提案する。 LLMに基づくアクションの事前処理を取り入れることで、探索と複雑性の最適化が大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2024-10-10T13:54:11Z)
• On The Planning Abilities of OpenAI's o1 Models: Feasibility, Optimality, and Generalizability [59.72892401927283]
  さまざまなベンチマークタスクでOpenAIのo1モデルの計画能力を評価する。 その結果,o1-preview は GPT-4 よりもタスク制約に順応していることがわかった。
  論文  参考訳（メタデータ） (2024-09-30T03:58:43Z)
• Strategic Chain-of-Thought: Guiding Accurate Reasoning in LLMs through Strategy Elicitation [16.350747493026432]
  CoT(Chain-of-Thought)パラダイムは,大規模言語モデル(LLM)の推論能力向上のための重要なアプローチとして登場した。 中間的推論ステップを生成する前に戦略的知識を統合することでLCM性能を向上するための textbfStrategic Chain-of-Thought (SCoT) を提案する。 SCoTは1つのプロンプトの中で2段階のアプローチを採用し、まず効果的な問題解決戦略を導き、次に高品質なCoTパスと最終回答の生成を導くのに使用される。
  論文  参考訳（メタデータ） (2024-09-05T06:28:05Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• Model-based Reinforcement Learning: A Survey [2.564530030795554]
  マルコフ決定過程 (Markov Decision Process, MDP) の最適化として一般に形式化された逐次意思決定は、人工知能において重要な課題である。 この問題の2つの主要なアプローチは強化学習(RL)と計画である。 本稿では、モデルベース強化学習として知られる両分野の統合について調査する。
  論文  参考訳（メタデータ） (2020-06-30T12:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。