論文の概要: On the Empirical Complexity of Reasoning and Planning in LLMs
- arxiv url: http://arxiv.org/abs/2404.11041v1
- Date: Wed, 17 Apr 2024 03:34:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 15:24:20.884689
- Title: On the Empirical Complexity of Reasoning and Planning in LLMs
- Title(参考訳): LLMにおける推論と計画の実証的複雑さについて
- Authors: Liwei Kang, Zirui Zhao, David Hsu, Wee Sun Lee,
- Abstract要約: 大きな言語モデル(LLM)は、チェーン・オブ・シント(CoT)やツリー・オブ・シント(ToT)といった複雑な推論問題に対して驚くほどうまく機能する。
本研究では,実験ケーススタディを実施し,その結果を機械学習におけるサンプルと計算複雑性にリンクさせることにより,これらの手法の性能を解明することを目的とする。
そこで本研究では, 問題を推論ステップの列に分解し, 次のステップを予測する学習が, サンプルと計算の複雑さが低く, 次のステップを予測するために必要な情報をすべて含む推論チェーンの概要を明確化することで, 性能の向上が期待できることを示した。
- 参考スコア(独自算出の注目度): 29.588100727466976
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large Language Models (LLMs) work surprisingly well for some complex reasoning problems via chain-of-thought (CoT) or tree-of-thought (ToT), but the underlying reasons remain unclear. We seek to understand the performance of these methods by conducting experimental case studies and linking the outcomes to sample and computational complexity in machine learning. We found that if problems can be decomposed into a sequence of reasoning steps and learning to predict the next step has a low sample and computational complexity, explicitly outlining the reasoning chain with all necessary information for predicting the next step may improve performance. Conversely, for problems where predicting the next step is computationally hard, adopting ToT may yield better reasoning outcomes than attempting to formulate a short reasoning chain.
- Abstract(参考訳): 大型言語モデル(LLM)は、チェーン・オブ・シント(CoT)やツリー・オブ・シント(ToT)といった複雑な推論問題に対して驚くほどうまく機能するが、根底にある理由は未だに不明である。
本研究では,実験ケーススタディを実施し,その結果を機械学習におけるサンプルと計算複雑性にリンクさせることにより,これらの手法の性能を解明することを目的とする。
そこで本研究では, 問題を推論ステップの列に分解し, 次のステップを予測する学習が, サンプルと計算の複雑さが低く, 次のステップを予測するために必要な情報をすべて含む推論チェーンの概要を明確化することで, 性能の向上が期待できることを示した。
逆に、次のステップを予測する問題が計算的に困難である場合、ToTを採用すると、短い推論連鎖を定式化しようとするよりも推論結果が良くなる可能性がある。
関連論文リスト
- Chain of Thoughtlessness: An Analysis of CoT in Planning [17.329365493094542]
推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。
本稿では,古典的計画領域であるBlocksworldの問題に対する思考連鎖のケーススタディを示す。
それらのプロンプトが問題クラスに特有である場合、一連の思考プロンプトから有意義なパフォーマンス改善が得られます。
論文 参考訳(メタデータ) (2024-05-08T02:48:28Z) - Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2024-02-01T15:18:33Z) - The Impact of Reasoning Step Length on Large Language Models [42.07147913947077]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。
プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文 参考訳(メタデータ) (2024-01-10T04:37:38Z) - Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。
モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
論文 参考訳(メタデータ) (2023-10-09T06:57:45Z) - Concise and Organized Perception Facilitates Large Language Models for
Deductive Reasoning [36.590274024394326]
コンシス・アンド・オーガナイズド・パーセプション(COP)という新しい推論手法を提案する。
COPは与えられたステートメントを慎重に分析し、冗長性を排除しつつ、最も関連する情報を効率的に識別する。
その後、モデルの推論プロセスに適応するより組織化された形式でLLMを誘導する。
論文 参考訳(メタデータ) (2023-10-05T04:47:49Z) - Evaluating and Improving Tool-Augmented Computation-Intensive Math
Reasoning [75.74103236299477]
CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。
ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。
CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2023-06-04T17:02:59Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳(メタデータ) (2023-04-23T13:54:39Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳(メタデータ) (2022-12-20T05:20:54Z) - Learning to Reason With Relational Abstractions [65.89553417442049]
関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。
このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2022-10-06T00:27:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。