論文の概要: Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters
- arxiv url: http://arxiv.org/abs/2212.10001v2
- Date: Thu, 1 Jun 2023 05:38:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-03 01:04:08.890686
- Title: Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters
- Title（参考訳）: チェーン・オブ・サート・プロンプティングの理解に向けて--何が重要かの実証的研究
- Authors: Boshi Wang, Sewon Min, Xiang Deng, Jiaming Shen, You Wu, Luke
Zettlemoyer, Huan Sun
- Abstract要約: CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
- 参考スコア（独自算出の注目度）: 82.84696222087396
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-Thought (CoT) prompting can dramatically improve the multi-step
reasoning abilities of large language models (LLMs). CoT explicitly encourages
the LLM to generate intermediate rationales for solving a problem, by providing
a series of reasoning steps in the demonstrations. Despite its success, there
is still little understanding of what makes CoT prompting effective and which
aspects of the demonstrated reasoning steps contribute to its performance. In
this paper, we show that CoT reasoning is possible even with invalid
demonstrations - prompting with invalid reasoning steps can achieve over 80-90%
of the performance obtained using CoT under various metrics, while still
generating coherent lines of reasoning during inference. Further experiments
show that other aspects of the rationales, such as being relevant to the query
and correctly ordering the reasoning steps, are much more important for
effective CoT reasoning. Overall, these findings both deepen our understanding
of CoT prompting, and open up new questions regarding LLMs' capability to learn
to reason in context.
- Abstract（参考訳）: CoT(Chain-of-Thought)は大規模言語モデル(LLM)の多段階推論能力を劇的に改善する。
CoTは、デモにおいて一連の推論ステップを提供することで、問題を解くための中間的論理を生成することを明示的にLLMに促している。
その成功にもかかわらず、cotを効果的に促す要因と、実証された推論ステップのどの側面がそのパフォーマンスに寄与するかについては、いまだに理解されていない。
本稿では,CoTの推理を無効にした場合であっても,CoTの推理が可能であることを示し,その推算において,CoTを用いて得られた性能の80～90%以上を推算しながら,推論中に一貫性のある推理線を生成できることを示す。
さらなる実験により、クエリに関連する他の側面や推論ステップの順序付けが、効果的なcot推論にとってより重要であることが示されている。
全体として、これらの知見はCoTの促進に対する理解を深め、LLMが文脈で推論を学ぶ能力について新たな疑問を提起する。
関連論文リスト
- Markov Chain of Thought for Efficient Mathematical Reasoning [10.678633785012691]
多段階の思考の連鎖(CoT)は、推論ステップとタスク固有のアクションの論理構造から恩恵を受ける。
我々は、標準多段階CoTを思考のマルコフ連鎖(MCoT)として概念化する。
論文 参考訳（メタデータ） (2024-10-23T07:53:29Z) - A Hopfieldian View-based Interpretation for Chain-of-Thought Reasoning [48.51969964676017]
CoT(Chain-of-Thought)は、大規模言語モデルの推論性能を高める上で重要な位置を占めている。
本稿では,CoTの精度を制御するためのリード・アンド・コントロル手法を提案する。
論文 参考訳（メタデータ） (2024-06-18T04:07:13Z) - The Impact of Reasoning Step Length on Large Language Models [40.546685248243534]
思考の連鎖(CoT)は、大きな言語モデルの推論能力を改善する上で重要である。
プロンプトにおけるCoTの有効性と推論ステップの長さの相関について検討した。
論文 参考訳（メタデータ） (2024-01-10T04:37:38Z) - Igniting Language Intelligence: The Hitchhiker's Guide From
Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。
LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。
最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
論文 参考訳（メタデータ） (2023-11-20T14:30:55Z) - Towards Better Chain-of-Thought Prompting Strategies: A Survey [60.75420407216108]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の促進戦略として使用すると,その印象的な強度を示す。
近年,CoTの促進効果が注目されている。
この調査は、関連する研究全般の参考になるかもしれない。
論文 参考訳（メタデータ） (2023-10-08T01:16:55Z) - Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [18.326858925174605]
CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。
さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。
広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
論文 参考訳（メタデータ） (2023-06-10T12:42:36Z) - Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。
本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
論文 参考訳（メタデータ） (2023-04-23T13:54:39Z) - Complementary Explanations for Effective In-Context Learning [77.83124315634386]
大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。
この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
論文 参考訳（メタデータ） (2022-11-25T04:40:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。