論文の概要: DialCoT Meets PPO: Decomposing and Exploring Reasoning Paths in Smaller Language Models

• arxiv url: http://arxiv.org/abs/2310.05074v3
• Date: Mon, 23 Oct 2023 09:38:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 07:01:34.961953
• Title: DialCoT Meets PPO: Decomposing and Exploring Reasoning Paths in Smaller Language Models
• Title（参考訳）: DialCoTがPPOに - より小さな言語モデルにおける推論パスの分解と探索
• Authors: Chengcheng Han, Xiaowei Du, Che Zhang, Yixin Lian, Xiang Li, Ming Gao, Baoyuan Wang
• Abstract要約: CoT(Chain-of-Thought)プロンプトは、少なくとも1000億のパラメータを持つLLM(Large Language Models)の推論能力を高めるのに有効であることが証明されている。 本稿では,ダイアログ誘導型Chain-of-Thought(DialCoT)について紹介する。
• 参考スコア（独自算出の注目度）: 18.96271708412086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain-of-Thought (CoT) prompting has proven to be effective in enhancing the reasoning capabilities of Large Language Models (LLMs) with at least 100 billion parameters. However, it is ineffective or even detrimental when applied to reasoning tasks in Smaller Language Models (SLMs) with less than 10 billion parameters. To address this limitation, we introduce Dialogue-guided Chain-of-Thought (DialCoT) which employs a dialogue format to generate intermediate reasoning steps, guiding the model toward the final answer. Additionally, we optimize the model's reasoning path selection using the Proximal Policy Optimization (PPO) algorithm, further enhancing its reasoning capabilities. Our method offers several advantages compared to previous approaches. Firstly, we transform the process of solving complex reasoning questions by breaking them down into a series of simpler sub-questions, significantly reducing the task difficulty and making it more suitable for SLMs. Secondly, we optimize the model's reasoning path selection through the PPO algorithm. We conduct comprehensive experiments on four arithmetic reasoning datasets, demonstrating that our method achieves significant performance improvements compared to state-of-the-art competitors.
• Abstract（参考訳）: CoT(Chain-of-Thought)プロンプトは、少なくとも1000億のパラメータを持つLLM(Large Language Models)の推論能力を高めるのに有効であることが証明されている。 しかし、100億未満のパラメータを持つ小型言語モデル(slms)の推論タスクに適用されると、効果や有害性は失われる。 この制限に対処するために,対話形式を用いて中間的推論ステップを生成し,モデルを最終回答へと導く対話ガイド付き連鎖思考 (dialcot) を導入する。 さらに,ppo(proximal policy optimization)アルゴリズムを用いてモデルの推論パス選択を最適化し,推論能力をさらに向上させる。 提案手法は従来の手法に比べていくつかの利点がある。 まず、より単純なサブクエストに分解することで複雑な推論問題の解法を変換し、タスクの難易度を大幅に低減し、SLMに適したものにする。 次に、PPOアルゴリズムを用いてモデルの推論経路の選択を最適化する。 4つの算術推論データセットについて包括的実験を行い,本手法が最先端の競争相手に比べて大幅な性能向上を実現することを実証した。

関連論文リスト

• A Comparative Study on Reasoning Patterns of OpenAI's o1 Model [69.08287909042421]
  OpenAIのo1モデルは、ほとんどのデータセットで最高のパフォーマンスを実現しています。 また、いくつかの推論ベンチマークについて詳細な分析を行う。
  論文  参考訳（メタデータ） (2024-10-17T15:09:03Z)
• PRefLexOR: Preference-based Recursive Language Modeling for Exploratory Optimization of Reasoning and Agentic Thinking [0.0]
  PRefLexORは、好みの最適化と強化学習の概念を組み合わせることで、モデルを自己学習可能にする。 本研究は, 生体材料科学の応用に焦点をあて, 様々なケーススタディでその手法を実証する。
  論文  参考訳（メタデータ） (2024-10-16T08:46:26Z)
• Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。 反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
  論文  参考訳（メタデータ） (2024-10-11T23:29:20Z)
• Logic Contrastive Reasoning with Lightweight Large Language Model for Math Word Problems [0.0]
  本研究では,数理推論タスクにおける軽量大言語モデル(LLM)の性能向上に焦点をあてる。 本稿では,数理論理の類似性を計測し,自動スクリーニング機構を設計する手法を提案する。 肯定的および否定的な例示プロンプトを慎重に作成することにより、音響推論ロジックの導入に向けてモデルを導出する。
  論文  参考訳（メタデータ） (2024-08-29T08:26:42Z)
• Combinatorial Reasoning: Selecting Reasons in Generative AI Pipelines via Combinatorial Optimization [2.090904951468026]
  大きな言語モデル(LLM)は、人間の知性を必要とするタスクにおいて印象的な能力を示す。 しかし、LLMの推論能力は重要な議論の的となっている。 本稿では,完全自動プロンプト方式である Combinatorial Reasoning (CR) について紹介する。
  論文  参考訳（メタデータ） (2024-06-19T16:47:44Z)
• Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
  Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。 提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
  論文  参考訳（メタデータ） (2023-10-16T05:21:50Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
  大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
  論文  参考訳（メタデータ） (2023-10-06T01:40:09Z)
• Sci-CoT: Leveraging Large Language Models for Enhanced Knowledge Distillation in Small Models for Scientific QA [5.117094291273979]
  大規模言語モデル(LLM)は、幅広い下流タスクで優れたパフォーマンスを示している。 本稿では2段階のフレームワークであるSci-CoTを提案する。 我々の8000万のパラメータモデルは、いくつかのショット設定の下でARC-EasyデータセットにおけるBLOOM-176Bの性能を上回ることができる。
  論文  参考訳（メタデータ） (2023-08-09T03:18:07Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。