論文の概要: Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs
- arxiv url: http://arxiv.org/abs/2406.09136v1
- Date: Thu, 13 Jun 2024 14:07:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-14 17:34:25.048832
- Title: Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs
- Title(参考訳): 選好最適化の連鎖:LLMにおけるチェーン・オブ・ソート推論の改善
- Authors: Xuan Zhang, Chao Du, Tianyu Pang, Qian Liu, Wei Gao, Min Lin,
- Abstract要約: Tree-of- Thought (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路をよりよく見つける。
ToTで構築された検索ツリーを利用した細調整言語モデル(LLMs)により、CoTは同様のあるいはより良いパフォーマンスを実現することができる。
これはCPO(Chain of Preference Optimization)によって実現され、LLMはCoT推論パスの各ステップをToTのステップと整列するように微調整される。
- 参考スコア(独自算出の注目度): 37.147529569445396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent development of chain-of-thought (CoT) decoding has enabled large language models (LLMs) to generate explicit logical reasoning paths for complex problem-solving. However, research indicates that these paths are not always deliberate and optimal. The tree-of-thought (ToT) method employs tree-searching to extensively explore the reasoning space and find better reasoning paths that CoT decoding might overlook. This deliberation, however, comes at the cost of significantly increased inference complexity. In this work, we demonstrate that fine-tuning LLMs leveraging the search tree constructed by ToT allows CoT to achieve similar or better performance, thereby avoiding the substantial inference burden. This is achieved through Chain of Preference Optimization (CPO), where LLMs are fine-tuned to align each step of the CoT reasoning paths with those of ToT using the inherent preference information in the tree-search process. Extensive experimental results show that CPO significantly improves LLM performance in solving a variety of complex problems, including question answering, fact verification, and arithmetic reasoning, demonstrating its effectiveness. Our code is available at https://github.com/sail-sg/CPO.
- Abstract(参考訳): 近年のチェーン・オブ・ソート(CoT)デコーディングにより、大規模言語モデル(LLM)は複雑な問題解決のための論理的推論経路を明示的に生成できるようになった。
しかし、研究はこれらの経路が必ずしも故意で最適であるとは限らないことを示唆している。
ツリー・オブ・シント (ToT) 法では、ツリー探索を用いて推論空間を広範囲に探索し、CoTデコーディングが見落としてしまうかもしれない推論経路を見出す。
しかし、この議論は推論の複雑さを大幅に増大させるコストが伴う。
本研究では,ToT が構築した探索木を利用した微調整 LLM により,CoT が類似あるいは良好な性能を達成できることを示す。
これは、CPO(Chain of Preference Optimization)によって実現され、木探索プロセスにおいて固有の嗜好情報を用いて、COT推論パスの各ステップをToTのステップと整列するように、LLMを微調整する。
CPOは,質問応答,事実検証,算術的推論など,様々な複雑な問題の解法において,LLMの性能を著しく向上することを示す。
私たちのコードはhttps://github.com/sail-sg/CPO.comで公開されています。
関連論文リスト
- MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [19.76034177986023]
MindStarは純粋に推論に基づく探索手法であり、推論タスクを探索問題として扱う。
GSM8KとMATHの両方のデータセット上でM*フレームワークを評価する。
以上の結果から,M*はオープンソースモデルの推論能力を大幅に向上させることが示された。
論文 参考訳(メタデータ) (2024-05-25T15:07:33Z) - Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。
このアプローチは、正しい答えが少数派である場合に失敗する。
階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
論文 参考訳(メタデータ) (2024-05-21T17:12:19Z) - Chain of Thoughtlessness? An Analysis of CoT in Planning [17.329365493094542]
推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。
本稿では,古典的計画領域であるBlocksworldの問題に対する思考連鎖のケーススタディを示す。
それらのプロンプトが問題クラスに特有である場合、一連の思考プロンプトから有意義なパフォーマンス改善が得られます。
論文 参考訳(メタデータ) (2024-05-08T02:48:28Z) - On the Empirical Complexity of Reasoning and Planning in LLMs [29.588100727466976]
大きな言語モデル(LLM)は、チェーン・オブ・シント(CoT)やツリー・オブ・シント(ToT)といった複雑な推論問題に対して驚くほどうまく機能する。
本研究では,実験ケーススタディを実施し,その結果を機械学習におけるサンプルと計算複雑性にリンクさせることにより,これらの手法の性能を解明することを目的とする。
そこで本研究では, 問題を推論ステップの列に分解し, 次のステップを予測する学習が, サンプルと計算の複雑さが低く, 次のステップを予測するために必要な情報をすべて含む推論チェーンの概要を明確化することで, 性能の向上が期待できることを示した。
論文 参考訳(メタデータ) (2024-04-17T03:34:27Z) - Can Separators Improve Chain-of-Thought Prompting? [11.155820558660245]
CoTプロンプトは、大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である。
人間の認知にインスパイアされたCoT-Sepは,CoTプロンプトにおける各例の最後にセパレータを戦略的に活用する新しい手法である。
論文 参考訳(メタデータ) (2024-02-16T12:46:16Z) - Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。
復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
論文 参考訳(メタデータ) (2024-02-15T18:55:41Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by
Reversing Chain-of-Thought [56.558892336235914]
Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。
RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。
手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
論文 参考訳(メタデータ) (2023-05-19T08:02:52Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳(メタデータ) (2023-04-23T13:54:39Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳(メタデータ) (2022-12-20T05:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。