論文の概要: Hint of Thought prompting: an explainable and zero-shot approach to
reasoning tasks with LLMs
- arxiv url: http://arxiv.org/abs/2305.11461v5
- Date: Thu, 29 Feb 2024 13:47:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:59:04.324561
- Title: Hint of Thought prompting: an explainable and zero-shot approach to
reasoning tasks with LLMs
- Title(参考訳): Hint of Thought prompting:LLMによる推論タスクへの説明可能なゼロショットアプローチ
- Authors: Ioktong Lei and Zhidong Deng
- Abstract要約: 本稿では、説明可能性とゼロショットの一般化を促進させる新しい思考ヒント(HoT)を提案する。
我々のHoTプロンプトは、既存のゼロショットCoTと比較してゼロショット推論タスクに大きな利点がある。
- 参考スコア(独自算出の注目度): 7.084410438286801
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As a way of communicating with users and any LLMs like GPT or PaLM2,
prompting becomes an increasingly important research topic for better
utilization of LLMs. Although simple prompting performs well on single-step
questions, it cannot permanently activate the correct knowledge path for
multi-step reasoning tasks. The chain of thought (CoT), which often contains
zero-shot CoT and few-shot CoT, is a recently developed prompting method that
can explain the reasoning process to the LLM and outperforms simple prompting
in three challenging reasoning tasks, including arithmetic, symbolic, and
commonsense reasoning. In this paper, we propose a novel hint of thought (HoT)
prompting with explainability and zero-shot generalization. First, it is
decomposed into the following three steps: explainable sub-questions, logical
reasoning, and answer extraction. Second, such three steps are sequentially
ordered in the format of step-by-step hints, which can be easily adjusted and
explained to different tasks. Finally, experimental results demonstrate that
our HoT prompting has a significant advantage on the zero-shot reasoning task
compared to existing zero-shot CoT. We did zero-shot experiments on math tasks
like GSM8K, ADDSUB, AQUA, SVAMP and commonsense tasks such as StrategyQA. In
particular, the accuracy of the proposed HoT prompting is improved with GSM8K
from 40.50% to 67.80%, with AQUA from 31.9% to 46.4%, with SVAMP from 63.7% to
76.9%, and with ADDSUB from 74.7% to 87.34%, respectively, which even defeats
the competitive PoT approach on GSM8k, AQUA, and SVAMP.
- Abstract(参考訳): GPT や PaLM2 などの LLM と通信する手段としては、LCM をよりよく活用するための重要な研究トピックとなっている。
単純なプロンプトは単段階の質問ではうまく機能するが、多段階推論タスクの正しい知識経路を永久に活性化することはできない。
思考の連鎖(CoT)は、しばしばゼロショットCoTと少数ショットCoTを含むが、最近開発されたプロンプト法であり、LLMに推論プロセスを説明し、算術、記号、コモンセンス推論を含む3つの挑戦的推論タスクにおいて単純なプロンプトよりも優れている。
本稿では、説明可能性とゼロショットの一般化を促進する新しい思考ヒント(HoT)を提案する。
まず,説明可能な部分質問,論理的推論,回答抽出という3つのステップに分解する。
第二に、これらの3つのステップはステップバイステップのヒントの形式で順番に順序付けされ、簡単に調整でき、異なるタスクに説明できる。
最後に,実験結果から,HoTプロンプトは既存のゼロショットCoTと比較してゼロショット推論タスクに有意なアドバンテージを持つことが示された。
GSM8K, ADDSUB, AQUA, SVAMPなどの数学タスクとStrategyQAのような常識タスクについてゼロショット実験を行った。
特に提案されたHoTプロンプトの精度は、GSM8Kが40.50%から67.80%に、AQUAが31.9%から46.4%に、SVAMPが63.7%から76.9%に、ADDSUBが74.7%から87.34%に改善され、GSM8k、AQUA、SVAMPが競合するPoTアプローチを破る結果となった。
関連論文リスト
- Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Reasoners [86.03285157412839]
The Chain of Thought prompting strategy has enhance the performance of Large Language Models (LLMs) across various NLP task。
本稿では,LLMの推論能力を高めるために,DUP (Deeply Understanding the Problems) という簡便な手法を提案する。
論文 参考訳(メタデータ) (2024-04-23T12:16:05Z) - Large Language Models are Contrastive Reasoners [8.427805316635318]
コントラスト的なプロンプトが,複雑な推論を行うための大規模言語モデルの能力を大幅に向上させることを示す。
2つの大きな言語モデルの実験では、ゼロショットの対照的なプロンプトが算術、コモンセンス、シンボリック推論タスクの性能を向上させることが示されている。
本手法は,ほとんどの算術的・常識的推論タスクにおいて,ゼロショットのCoTや少数ショットのCoTを超えるだけでなく,既存のプロンプトメソッドとシームレスに統合できる。
論文 参考訳(メタデータ) (2024-03-13T03:15:05Z) - Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳(メタデータ) (2024-02-22T05:58:03Z) - In-Context Principle Learning from Mistakes [75.66979331850364]
Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。
我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
論文 参考訳(メタデータ) (2024-02-08T04:42:29Z) - Evidence to Generate (E2G): A Single-agent Two-step Prompting for
Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。
証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。
ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
論文 参考訳(メタデータ) (2024-01-11T09:49:15Z) - Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。
しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。
LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
論文 参考訳(メタデータ) (2023-10-07T08:56:28Z) - Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models [50.02468709238182]
自然言語計画と行動(Natala)という,一連の新しいタスクからなるベンチマークを提案する。
現在、ChatGPTのようなLLMには複雑な計画能力がないことが分かっています。
本稿では,凝縮した記号空間表現を持つ複雑な環境を表現するCoS(Chain-of-Symbol Prompting)を提案する。
論文 参考訳(メタデータ) (2023-05-17T15:07:50Z) - Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning
by Large Language Models [23.805926737723603]
大規模言語モデル(LLM)の推論ステップを生成するために、手作業でステップバイステップの推論デモを作成することができる。
Zero-shot-CoTs は LLM への入力プロンプトとして "Let's Think by Step" でターゲット問題文をプロンプトする。
提案したゼロショットのプロンプトが全データセットでゼロショットCoTをはるかに上回っていることを示す。
論文 参考訳(メタデータ) (2023-05-06T16:34:37Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳(メタデータ) (2022-12-20T05:20:54Z) - Large Language Models are Zero-Shot Reasoners [28.6899375595088]
思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。
LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。
実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
論文 参考訳(メタデータ) (2022-05-24T09:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。