Fugu-MT 論文翻訳(概要): Hint of Thought prompting: an explainable and zero-shot approach to reasoning tasks with LLMs

論文の概要: Hint of Thought prompting: an explainable and zero-shot approach to reasoning tasks with LLMs

arxiv url: http://arxiv.org/abs/2305.11461v5
Date: Thu, 29 Feb 2024 13:47:27 GMT
ステータス: 処理完了
システム内更新日: 2024-03-01 18:59:04.324561
Title: Hint of Thought prompting: an explainable and zero-shot approach to reasoning tasks with LLMs
Title（参考訳）: Hint of Thought prompting:LLMによる推論タスクへの説明可能なゼロショットアプローチ
Authors: Ioktong Lei and Zhidong Deng
Abstract要約: 本稿では、説明可能性とゼロショットの一般化を促進させる新しい思考ヒント(HoT)を提案する。我々のHoTプロンプトは、既存のゼロショットCoTと比較してゼロショット推論タスクに大きな利点がある。
参考スコア（独自算出の注目度）: 7.084410438286801
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As a way of communicating with users and any LLMs like GPT or PaLM2, prompting becomes an increasingly important research topic for better utilization of LLMs. Although simple prompting performs well on single-step questions, it cannot permanently activate the correct knowledge path for multi-step reasoning tasks. The chain of thought (CoT), which often contains zero-shot CoT and few-shot CoT, is a recently developed prompting method that can explain the reasoning process to the LLM and outperforms simple prompting in three challenging reasoning tasks, including arithmetic, symbolic, and commonsense reasoning. In this paper, we propose a novel hint of thought (HoT) prompting with explainability and zero-shot generalization. First, it is decomposed into the following three steps: explainable sub-questions, logical reasoning, and answer extraction. Second, such three steps are sequentially ordered in the format of step-by-step hints, which can be easily adjusted and explained to different tasks. Finally, experimental results demonstrate that our HoT prompting has a significant advantage on the zero-shot reasoning task compared to existing zero-shot CoT. We did zero-shot experiments on math tasks like GSM8K, ADDSUB, AQUA, SVAMP and commonsense tasks such as StrategyQA. In particular, the accuracy of the proposed HoT prompting is improved with GSM8K from 40.50% to 67.80%, with AQUA from 31.9% to 46.4%, with SVAMP from 63.7% to 76.9%, and with ADDSUB from 74.7% to 87.34%, respectively, which even defeats the competitive PoT approach on GSM8k, AQUA, and SVAMP.
Abstract（参考訳）: GPT や PaLM2 などの LLM と通信する手段としては、LCM をよりよく活用するための重要な研究トピックとなっている。単純なプロンプトは単段階の質問ではうまく機能するが、多段階推論タスクの正しい知識経路を永久に活性化することはできない。思考の連鎖(CoT)は、しばしばゼロショットCoTと少数ショットCoTを含むが、最近開発されたプロンプト法であり、LLMに推論プロセスを説明し、算術、記号、コモンセンス推論を含む3つの挑戦的推論タスクにおいて単純なプロンプトよりも優れている。本稿では、説明可能性とゼロショットの一般化を促進する新しい思考ヒント(HoT)を提案する。まず,説明可能な部分質問,論理的推論,回答抽出という3つのステップに分解する。第二に、これらの3つのステップはステップバイステップのヒントの形式で順番に順序付けされ、簡単に調整でき、異なるタスクに説明できる。最後に,実験結果から,HoTプロンプトは既存のゼロショットCoTと比較してゼロショット推論タスクに有意なアドバンテージを持つことが示された。 GSM8K, ADDSUB, AQUA, SVAMPなどの数学タスクとStrategyQAのような常識タスクについてゼロショット実験を行った。特に提案されたHoTプロンプトの精度は、GSM8Kが40.50%から67.80%に、AQUAが31.9%から46.4%に、SVAMPが63.7%から76.9%に、ADDSUBが74.7%から87.34%に改善され、GSM8k、AQUA、SVAMPが競合するPoTアプローチを破る結果となった。

関連論文リスト

Instance-adaptive Zero-shot Chain-of-Thought Prompting [32.700073951068575]
Zero-shot Chain-of-Thought (CoT) は,実世界の推論タスクにおける大規模言語モデル(LLM)の性能向上のための,シンプルかつ効果的な戦略として出現する。この研究は、良いプロンプトと悪いプロンプトを適応的に微分することで、代替のゼロショットCoT推論スキームとして、インスタンス適応プロンプトアルゴリズムを導入する。
論文参考訳（メタデータ） (2024-09-30T16:00:34Z)
Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Solvers for Math Word Problems [50.76385564061713]
CoT(Chain-of-Thought)のプロンプトにより、さまざまな推論タスクにわたるLLM(Large Language Models)のパフォーマンスが向上した。 CoTは通常、セマンティックな誤解エラー、計算エラー、ステップミスという3つの落とし穴に悩まされる。意味的誤解の誤りに対処し,LLMの数学的問題解決能力を改善するために,DUP(Deeply Understanding the Problems)を提案する。
論文参考訳（メタデータ） (2024-04-23T12:16:05Z)
Large Language Models are Contrastive Reasoners [8.427805316635318]
コントラスト的なプロンプトが,複雑な推論を行うための大規模言語モデルの能力を大幅に向上させることを示す。様々な大きな言語モデルの実験では、ゼロショットのコントラストプロンプトが算術、常識、シンボリック推論タスクの性能を向上させることが示されている。本手法は,ほとんどの算術的・常識的推論タスクにおいて,ゼロショットのCoTや少数ショットのCoTを超えるだけでなく,既存のプロンプトメソッドとシームレスに統合できる。
論文参考訳（メタデータ） (2024-03-13T03:15:05Z)
Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。 HSPは推論タスクの精度を効果的に向上させることができる。我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文参考訳（メタデータ） (2024-02-22T05:58:03Z)
In-Context Principle Learning from Mistakes [75.66979331850364]
Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
論文参考訳（メタデータ） (2024-02-08T04:42:29Z)
Evidence to Generate (E2G): A Single-agent Two-step Prompting for Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
論文参考訳（メタデータ） (2024-01-11T09:49:15Z)
Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。 LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
論文参考訳（メタデータ） (2023-10-07T08:56:28Z)
Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models [23.805926737723603]
大規模言語モデル(LLM)の推論ステップを生成するために、手作業でステップバイステップの推論デモを作成することができる。 Zero-shot-CoTs は LLM への入力プロンプトとして "Let's Think by Step" でターゲット問題文をプロンプトする。提案したゼロショットのプロンプトが全データセットでゼロショットCoTをはるかに上回っていることを示す。
論文参考訳（メタデータ） (2023-05-06T16:34:37Z)
Faithful Chain-of-Thought Reasoning [51.21714389639417]
CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
論文参考訳（メタデータ） (2023-01-31T03:04:26Z)
Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する無効な実演でもCoT推論が可能であることを示す。
論文参考訳（メタデータ） (2022-12-20T05:20:54Z)
Large Language Models are Zero-Shot Reasoners [28.6899375595088]
思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。 LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
論文参考訳（メタデータ） (2022-05-24T09:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。