論文の概要: Chain of Thoughtlessness: An Analysis of CoT in Planning

• arxiv url: http://arxiv.org/abs/2405.04776v1
• Date: Wed, 8 May 2024 02:48:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-09 15:24:34.065584
• Title: Chain of Thoughtlessness: An Analysis of CoT in Planning
• Title（参考訳）: 思慮の連鎖:計画におけるCoTの分析
• Authors: Kaya Stechly, Karthik Valmeekam, Subbarao Kambhampati,
• Abstract要約: 推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。 本稿では,古典的計画領域であるBlocksworldの問題に対する思考連鎖のケーススタディを示す。 それらのプロンプトが問題クラスに特有である場合、一連の思考プロンプトから有意義なパフォーマンス改善が得られます。
• 参考スコア（独自算出の注目度）: 17.329365493094542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language model (LLM) performance on reasoning problems typically does not generalize out of distribution. Previous work has claimed that this can be mitigated by modifying prompts to include examples with chains of thought--demonstrations of solution procedures--with the intuition that it is possible to in-context teach an LLM an algorithm for solving the problem. This paper presents a case study of chain of thought on problems from Blocksworld, a classical planning domain, and examine the performance of two state-of-the-art LLMs across two axes: generality of examples given in prompt, and complexity of problems queried with each prompt. While our problems are very simple, we only find meaningful performance improvements from chain of thought prompts when those prompts are exceedingly specific to their problem class, and that those improvements quickly deteriorate as the size n of the query-specified stack grows past the size of stacks shown in the examples. Our results hint that, contrary to previous claims in the literature, CoT's performance improvements do not stem from the model learning general algorithmic procedures via demonstrations and depend on carefully engineering highly problem specific prompts. This spotlights drawbacks of chain of thought, especially because of the sharp tradeoff between possible performance gains and the amount of human labor necessary to generate examples with correct reasoning traces.
• Abstract（参考訳）: 推論問題におけるLLM(Large Language Model)のパフォーマンスは通常、分布から一般化しない。 従来の研究では、この問題は、解決手順の列の例を含むようにプロンプトを変更することで緩和できると主張してきた。 本稿では,古典的計画領域であるBlocksworldの問題点に対する考察の連鎖を事例として,2つの軸にまたがる2つの最先端LCMの性能,即時的な例の一般化,各プロンプトでクエリされた問題の複雑さについて考察する。 我々の問題は非常に単純であるが、これらのプロンプトが問題クラスに特化している場合にのみ、一連の思考プロンプトから有意義なパフォーマンス改善が見出され、クエリ特定スタックのサイズnが、例に示すスタックのサイズよりも大きくなるにつれて、これらの改善は急速に悪化する。 この結果から,CoTの性能改善は,従来の文献の主張とは対照的に,実演による一般的なアルゴリズム手順の学習に起因するものではなく,高度にエンジニアリング上の問題のあるプロンプトに依存していることが示唆された。 これは特に、パフォーマンス向上の可能性と、正しい推論トレースを持つ例を生成するのに必要な人的労働の量との激しいトレードオフのために、思考の連鎖の欠点を浮き彫りにする。

関連論文リスト

• Supervised Chain of Thought [5.389461633686935]
  Chain of Thought (CoT)は複雑な推論タスクを解決するための有望なアプローチを提供する。 ワンプロンプト・フォー・オールアプローチは、正しい推論ステップを生成するためにモデルに重大な課題をもたらす。 タスク固有の監督が、プロンプト空間を正確にナビゲートし、最適な性能を達成するためにいかに重要であるかを示す。
  論文  参考訳（メタデータ） (2024-10-18T06:25:27Z)
• MathGAP: Out-of-Distribution Evaluation on Problems with Arbitrarily Complex Proofs [80.96119560172224]
  大規模言語モデル(LLM)は、高い精度で算術語問題を解くことができるが、訓練された言語よりも複雑な問題にどのように一般化するかは、ほとんど分かっていない。 本研究では、任意に複雑な算術証明問題に対する LLM の評価フレームワーク、MathGAP を提案する。
  論文  参考訳（メタデータ） (2024-10-17T12:48:14Z)
• Pattern-Aware Chain-of-Thought Prompting in Large Language Models [26.641713417293538]
  CoT(Chain-of- Thought)は言語モデルに複雑な多段階推論を誘導する。 このようなタスクにおいて、基礎となる推論パターンがより重要な役割を果たすことを示す。 本稿では,デモパターンの多様性を考慮したプロンプト手法であるPattern-Aware CoTを提案する。
  論文  参考訳（メタデータ） (2024-04-23T07:50:00Z)
• Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models [48.43678591317425]
  Boosting of Thoughts (BoT)は、大規模言語モデルによる問題解決のための自動プロンプトフレームワークである。 我々は,BoTが他の先進的なプロンプト手法よりも高い,あるいは同等の問題解決率を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-17T00:13:36Z)
• Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models [68.05046964022844]
  大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)のプロンプトを活用することで、顕著な推論機能を明らかにしている。 本稿では,入力質問の種類が不明な混合タスクシナリオにおいて,一般化可能なCoTプロンプト機構であるGeM-CoTを提案する。 この技術設計により、GeM-CoTは10の公開推論タスクと23のBBHタスクにおいて優れた一般化能力と優れたパフォーマンスを同時に享受する。
  論文  参考訳（メタデータ） (2023-10-10T15:10:03Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Active Prompting with Chain-of-Thought for Large Language Models [26.5029080638055]
  本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。 不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。 実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
  論文  参考訳（メタデータ） (2023-02-23T18:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。