論文の概要: When do you need Chain-of-Thought Prompting for ChatGPT?

• arxiv url: http://arxiv.org/abs/2304.03262v2
• Date: Tue, 18 Apr 2023 14:45:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-19 17:09:07.108243
• Title: When do you need Chain-of-Thought Prompting for ChatGPT?
• Title（参考訳）: ChatGPTのためのChain-of-Thought Promptingはいつ必要か?
• Authors: Jiuhai Chen, Lichang Chen, Heng Huang, Tianyi Zhou
• Abstract要約: CoT(Chain-of-Thought)は,大規模言語モデル(LLM)から複雑な多段階推論を効果的に引き出すことができる CoT がChatGPT などの最近の命令微調整 (IFT) LLM に対してまだ有効であるかどうかは不明である。
• 参考スコア（独自算出の注目度）: 87.45382888430643
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Chain-of-Thought (CoT) prompting can effectively elicit complex multi-step reasoning from Large Language Models~(LLMs). For example, by simply adding CoT instruction ``Let's think step-by-step'' to each input query of MultiArith dataset, GPT-3's accuracy can be improved from 17.7\% to 78.7\%. However, it is not clear whether CoT is still effective on more recent instruction finetuned (IFT) LLMs such as ChatGPT. Surprisingly, on ChatGPT, CoT is no longer effective for certain tasks such as arithmetic reasoning while still keeping effective on other reasoning tasks. Moreover, on the former tasks, ChatGPT usually achieves the best performance and can generate CoT even without being instructed to do so. Hence, it is plausible that ChatGPT has already been trained on these tasks with CoT and thus memorized the instruction so it implicitly follows such an instruction when applied to the same queries, even without CoT. Our analysis reflects a potential risk of overfitting/bias toward instructions introduced in IFT, which becomes more common in training LLMs. In addition, it indicates possible leakage of the pretraining recipe, e.g., one can verify whether a dataset and instruction were used in training ChatGPT. Our experiments report new baseline results of ChatGPT on a variety of reasoning tasks and shed novel insights into LLM's profiling, instruction memorization, and pretraining dataset leakage.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、大規模言語モデル~(LLM)から複雑な多段階推論を効果的に引き出す。 例えば、MultiArithデータセットの各入力クエリに単にCoT命令 ``Let's Think-by-step'' を追加することで、GPT-3の精度は17.7\%から78.7\%に向上できる。 しかし、CoTがChatGPTのような最近の命令微調整(IFT)LLMに対してまだ有効かどうかは不明である。 驚くべきことに、ChatGPTでは、CoTは算術的推論のような特定のタスクには有効ではなく、他の推論タスクには有効である。 さらに、以前のタスクでは、ChatGPTは通常最高のパフォーマンスを達成し、CoTを生成することができる。 したがって、ChatGPTはCoTを使ってこれらのタスクですでに訓練されており、CoTなしでも同じクエリに適用された場合、暗黙的にそのような命令に従うように命令を記憶していることが考えられる。 我々の分析は、IFTで導入された命令に対する過度な適合/バイアスの危険性を反映している。 また、事前学習レシピの漏洩の可能性を示し、例えば、chatgptのトレーニングにデータセットと命令が使われたかどうかを検証できる。 実験では,様々な推論タスクに対するChatGPTの新たなベースライン結果について報告し,LLMのプロファイリング,命令記憶,プレトレーニングデータセットリークに関する新たな知見を隠蔽した。

関連論文リスト

• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Can Separators Improve Chain-of-Thought Prompting? [10.398343318429367]
  CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である 人間の認知にインスパイアされたCOT-SEP(COT-SEP)は,CoTプロンプトにおける各指数の最後にセパレータを戦略的に採用する手法である。
  論文  参考訳（メタデータ） (2024-02-16T12:46:16Z)
• Fewer is More: Boosting LLM Reasoning with Reinforced Context Pruning [31.110005898556892]
  大きな言語モデル(LLM)は印象的な能力を示しているが、それでも数学の推論に苦戦している。 我々はCoT-Influxを提案する。これはCoT学習の境界を押し上げる新しいアプローチである。 CoT-Influxは、CoTの実例と簡潔な例の入力を最大化するために粗いプルーナーを使用する。
  論文  参考訳（メタデータ） (2023-12-14T13:03:13Z)
• Exploring ChatGPT's Capabilities on Vulnerability Management [56.4403395100589]
  我々は、70,346のサンプルを含む大規模なデータセットを用いて、完全な脆弱性管理プロセスを含む6つのタスクでChatGPTの機能を探求する。 注目すべき例として、ChatGPTのソフトウェアバグレポートのタイトル生成などのタスクにおける熟練度がある。 以上の結果から,ChatGPTが抱える障害が明らかとなり,将来的な方向性に光を当てた。
  論文  参考訳（メタデータ） (2023-11-11T11:01:13Z)
• Investigating the Effectiveness of Task-Agnostic Prefix Prompt for Instruction Following [44.701091969256055]
  本稿では,TAPP(Task-Agnostic Prefix Prompt)を入力にプリプションすることで,各種大規模言語モデル(LLM)の命令追従能力が向上することを示す。 我々は、ベースLLM(命令に従うように微調整されていない)と命令調整モデルの両方がTAPPの恩恵を受けており、平均で34.58%、12.26%の改善が得られた。
  論文  参考訳（メタデータ） (2023-02-28T16:06:35Z)
• A Multitask, Multilingual, Multimodal Evaluation of ChatGPT on Reasoning, Hallucination, and Interactivity [79.12003701981092]
  8種類の共通NLPアプリケーションタスクをカバーする23のデータセットを用いてChatGPTの広範な技術的評価を行う。 これらのデータセットと、新たに設計されたマルチモーダルデータセットに基づいて、ChatGPTのマルチタスク、マルチリンガル、マルチモーダルの側面を評価する。 ChatGPTの精度は平均63.41%で、論理的推論、非テキスト的推論、コモンセンス推論の10の異なる推論カテゴリで正確である。
  論文  参考訳（メタデータ） (2023-02-08T12:35:34Z)
• Is ChatGPT a General-Purpose Natural Language Processing Task Solver? [113.22611481694825]
  大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクをゼロショットで実行できることを実証している。 近年、ChatGPTのデビューは自然言語処理(NLP)コミュニティから大きな注目を集めている。 ChatGPTが多くのNLPタスクをゼロショットで実行できるジェネラリストモデルとして機能するかどうかはまだ分かっていない。
  論文  参考訳（メタデータ） (2023-02-08T09:44:51Z)
• Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
  CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する 無効な実演でもCoT推論が可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。