論文の概要: Can Separators Improve Chain-of-Thought Prompting?
- arxiv url: http://arxiv.org/abs/2402.10645v1
- Date: Fri, 16 Feb 2024 12:46:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 16:14:15.948087
- Title: Can Separators Improve Chain-of-Thought Prompting?
- Title(参考訳): セパレータはチェーン・オブ・サート・プロンプトを改善できるか?
- Authors: Yoonjeong Park, Hyunjin Kim, Chanyeol Choi, Junseong Kim, Jy-yong Sohn
- Abstract要約: CoTプロンプトは、大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である。
人間の認知にインスパイアされたCoT-Sepは,CoTプロンプトにおける各例の最後にセパレータを戦略的に活用する新しい手法である。
- 参考スコア(独自算出の注目度): 11.155820558660245
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) prompting is a simple and effective method for
improving the reasoning capabilities of Large language models (LLMs). The basic
idea of CoT is to let LLMs break down their thought processes step-by-step by
putting exemplars in the input prompt. However, the densely structured prompt
exemplars of CoT may cause the cognitive overload of LLMs. Inspired by human
cognition, we introduce CoT-Sep, a novel method that strategically employs
separators at the end of each exemplar in CoT prompting. These separators are
designed to help the LLMs understand their thought processes better while
reasoning. It turns out that CoT-Sep significantly improves the LLMs'
performances on complex reasoning tasks (e.g., GSM-8K, AQuA, CSQA), compared
with the vanilla CoT, which does not use separators. We also study the effects
of the type and the location of separators tested on multiple LLMs, including
GPT-3.5-Turbo, GPT-4, and LLaMA-2 7B. Interestingly, the type/location of
separators should be chosen appropriately to boost the reasoning capability of
CoT.
- Abstract(参考訳): CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である。
CoTの基本的な考え方は、LLMが入力プロンプトに模範を配置することで、思考プロセスを段階的に分解できるようにすることである。
しかし、CoTの密に構造化されたプロンプト例は、LLMの認知的過負荷を引き起こす可能性がある。
人間の認知にインスパイアされたCoT-Sepは,CoTプロンプトにおける各例の最後にセパレータを戦略的に活用する新しい手法である。
これらのセパレータは、LLMが推論しながら思考プロセスをよりよく理解できるように設計されている。
CoT-Sepは、複雑な推論タスク(例えば、GSM-8K、AQuA、CSQA)におけるLCMのパフォーマンスを、セパレータを使用しないバニラCoTと比較して大幅に改善している。
また, GPT-3.5-Turbo, GPT-4, LLaMA-2 7B を含む複数の LLM 上で試験したセパレータのタイプおよび位置の影響についても検討した。
興味深いことに、CoTの推論能力を高めるためにセパレータの型/位置を適切に選択する必要がある。
関連論文リスト
- Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Chain-of-Thought Reasoning Without Prompting [48.351650919819456]
CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練されたLCMから引き出すことができる。
我々は、デコードパスにおけるCoTの存在は、モデルのデコードされた回答に対する高い信頼と相関していることを観察する。
論文 参考訳(メタデータ) (2024-02-15T18:55:41Z) - Fewer is More: Boosting LLM Reasoning with Reinforced Context Pruning [31.110005898556892]
大きな言語モデル(LLM)は印象的な能力を示しているが、それでも数学の推論に苦戦している。
我々はCoT-Influxを提案する。これはCoT学習の境界を押し上げる新しいアプローチである。
CoT-Influxは、CoTの実例と簡潔な例の入力を最大化するために粗いプルーナーを使用する。
論文 参考訳(メタデータ) (2023-12-14T13:03:13Z) - Rephrase and Respond: Let Large Language Models Ask Better Questions for
Themselves [63.33254282051988]
本稿では,Rephrase and Respond'(RaR)という手法を提案する。
RaRは、パフォーマンスを改善するためのシンプルだが効果的なプロンプト方法として機能する。
また,RaRは理論的にも経験的にも,一般的なChain-of-Thought(CoT)法と相補的であることを示す。
論文 参考訳(メタデータ) (2023-11-07T18:43:34Z) - Chain-of-Thought Tuning: Masked Language Models can also Think Step By
Step in Natural Language Understanding [25.36416774024584]
Chain-of-Thought (CoT) は、Large Language Models (LLM) を自然言語形式の中間段階を通して多段階の推論へと導く技術である。
本稿では,即時チューニングに基づく2段階の推論フレームワークとしてChain-of-Thought (CoTT)を提案する。
論文 参考訳(メタデータ) (2023-10-18T05:39:20Z) - Structured Chain-of-Thought Prompting for Code Generation [48.43888515848583]
CoTプロンプト(Chain-of-Thought)は最先端のプロンプト技術である。
本研究では、構造化CoT(Structured CoTs)を提案し、コード生成のための新しいプロンプト技術であるSCoTプロンプトを提案する。
論文 参考訳(メタデータ) (2023-05-11T06:43:37Z) - When do you need Chain-of-Thought Prompting for ChatGPT? [87.45382888430643]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)から複雑な多段階推論を効果的に引き出すことができる
CoT がChatGPT などの最近の命令微調整 (IFT) LLM に対してまだ有効であるかどうかは不明である。
論文 参考訳(メタデータ) (2023-04-06T17:47:29Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳(メタデータ) (2022-12-20T05:20:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。