論文の概要: Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs

• arxiv url: http://arxiv.org/abs/2406.09136v2
• Date: Thu, 31 Oct 2024 07:12:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 16:59:02.840217
• Title: Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs
• Title（参考訳）: 選好最適化の連鎖:LLMにおけるチェーン・オブ・ソート推論の改善
• Authors: Xuan Zhang, Chao Du, Tianyu Pang, Qian Liu, Wei Gao, Min Lin,
• Abstract要約: Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。 ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。 これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
• 参考スコア（独自算出の注目度）: 37.147529569445396
• License:
• Abstract: The recent development of chain-of-thought (CoT) decoding has enabled large language models (LLMs) to generate explicit logical reasoning paths for complex problem-solving. However, research indicates that these paths are not always deliberate and optimal. The tree-of-thought (ToT) method employs tree-searching to extensively explore the reasoning space and find better reasoning paths that CoT decoding might overlook. This deliberation, however, comes at the cost of significantly increased inference complexity. In this work, we demonstrate that fine-tuning LLMs leveraging the search tree constructed by ToT allows CoT to achieve similar or better performance, thereby avoiding the substantial inference burden. This is achieved through Chain of Preference Optimization (CPO), where LLMs are fine-tuned to align each step of the CoT reasoning paths with those of ToT using the inherent preference information in the tree-search process. Extensive experimental results show that CPO significantly improves LLM performance in solving a variety of complex problems, including question answering, fact verification, and arithmetic reasoning, demonstrating its effectiveness. Our code is available at https://github.com/sail-sg/CPO.
• Abstract（参考訳）: 近年のチェーン・オブ・ソート(CoT)デコーディングにより、大規模言語モデル(LLM)は複雑な問題解決のための論理的推論経路を明示的に生成できるようになった。 しかし、研究はこれらの経路が必ずしも故意で最適であるとは限らないことを示唆している。 ツリー・オブ・シント (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路を見出す。 しかし、この議論は推論の複雑さを大幅に増大させるコストが伴う。 本研究では,ToT が構築した探索木を利用した微調整 LLM により,CoT が類似あるいは良好な性能を達成できることを示す。 これは、CPO(Chain of Preference Optimization)によって実現され、木探索プロセスにおいて固有の嗜好情報を用いて、COT推論パスの各ステップをToTのステップと整列するように、LLMを微調整する。 CPOは,質問応答,事実検証,算術的推論など,様々な複雑な問題の解法において,LLMの性能を著しく向上することを示す。 私たちのコードはhttps://github.com/sail-sg/CPO.comで公開されています。

関連論文リスト

• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 本稿では,LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Pheromone-based Learning of Optimal Reasoning Paths [0.5662299435213421]
  Ant Colony Optimization-Guided Tree of Thought (ACO-ToT) Ant Colony Optimization-Guided Tree of Thought (ACO-ToT) Ant Colony Optimization-Guided Tree of Thought (ACO-ToT)
  論文  参考訳（メタデータ） (2025-01-31T16:42:31Z)
• Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning [40.069109287947875]
  我々はフォレスト・オブ・サート(FoT)と呼ばれる新しい推論フレームワークを提案する。 FoTは複数の推論木を統合し、複雑な論理問題を解くために集合的な意思決定を活用する。 本稿では,リアルタイムの誤り訂正を可能にする動的自己補正戦略と,コンセンサス誘導による意思決定戦略を導入する。
  論文  参考訳（メタデータ） (2024-12-12T09:01:18Z)
• Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought [61.588465852846646]
  大型言語モデル(LLM)の性能向上のための有望なアプローチとして、Chain-of-Thought(CoT)推論が登場した。 本稿では,これらの課題に対処するための新しい推論境界フレームワーク(RBF)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T05:26:28Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。