論文の概要: SelfzCoT: a Self-Prompt Zero-shot CoT from Semantic-level to Code-level
for a Better Utilization of LLMs
- arxiv url: http://arxiv.org/abs/2305.11461v1
- Date: Fri, 19 May 2023 06:30:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 16:05:30.576347
- Title: SelfzCoT: a Self-Prompt Zero-shot CoT from Semantic-level to Code-level
for a Better Utilization of LLMs
- Title（参考訳）: SelfzCoT: セマンティックレベルからコードレベルへの自己プロンプトゼロショットCoTによるLCMのより良い利用
- Authors: IokTong Lei and ZhiDong Deng
- Abstract要約: 提案されたSelfzCoTの精度は、GSM8Kを40.50%から82.34%に改善した。
改良されたゼロショットCoT (MzCoT) も推論タスクにおいて顕著な性能を発揮する。
- 参考スコア（独自算出の注目度）: 8.475081627511166
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper show a work on better use of LLMs with SelfzCoT a self-prompt
zero-shot CoT. Specifically, on the zero-shot arithmetic reasoning tasks, the
accuracy of the proposed SelfzCoT is improved with GSM8K from 40.50% to 82.34%,
with MultiArith from 79.3% to 94.7%, with ADDSUB from 74.70% to 94.10%, with
SingleEq from 78.70% to 91.30%, with AQUA from 31.90% to 82.33%, and with SVAMP
from 63.70% to 79.70%. Totally, using the first two lasting path activations to
LLM and particularly, the code-level self-prompt, the SelfzCoT has a huge
improvement on all six zero-shot arithmetic reasoning tasks. Additionally, our
modified zero-shot CoT (MzCoT) also achieves remarkable performance in the
reasoning tasks. The accuracy of the proposed MzCoT is enhanced with GSM8K from
40.50% to 76.32%, with MultiArith from 79.3% to 96.97%, with ADDSUB from 74.70%
to 92.39%, with SingleEq from 78.70% to 94.60%, with AQUA from 31.90% to
79.90%, and with SVAMP from 63.70% to 81.50%. Notably, SelfzCoT has the best
performance on GSM8K among all the recent zero-shot methods.
- Abstract（参考訳）: 本稿では,自己プロンプトゼロショットCoTであるSelfzCoTを用いたLCMの有効利用について述べる。
特にゼロショット算術推論タスクでは、提案されたSelfzCoTの精度は、GSM8Kを40.50%から82.34%に改善し、MultiArithを79.3%から94.7%、ADDSUBを74.70%から94.10%、SingleEqを78.70%から91.30%、Aquaを31.90%から82.33%、SVAMPを63.70%から79.70%に改善した。
LLMへの最初の2つのパスアクティベート、特にコードレベルのセルフプロンプトを使用して、SelfzCoTは6つのゼロショット算術推論タスクを大幅に改善した。
さらに,修正したゼロショットCoT (MzCoT) も推論タスクにおいて顕著な性能を発揮する。
提案されたMzCoTの精度はGSM8Kが40.50%から76.32%、MultiArithが79.3%から96.97%、ABDSUBが74.70%から92.39%、SingleEqが78.70%から94.60%、AQUAが31.90%から79.90%、SVAMPが63.70%から81.50%に向上した。
特にSelfzCoTは、最近のゼロショットメソッドの中でもGSM8Kで最高のパフォーマンスを示している。
関連論文リスト
- Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Reasoners [86.03285157412839]
The Chain of Thought prompting strategy has enhance the performance of Large Language Models (LLMs) across various NLP task。
本稿では,LLMの推論能力を高めるために,DUP (Deeply Understanding the Problems) という簡便な手法を提案する。
論文 参考訳（メタデータ） (2024-04-23T12:16:05Z) - Large Language Models are Contrastive Reasoners [8.427805316635318]
コントラスト的なプロンプトが,複雑な推論を行うための大規模言語モデルの能力を大幅に向上させることを示す。
2つの大きな言語モデルの実験では、ゼロショットの対照的なプロンプトが算術、コモンセンス、シンボリック推論タスクの性能を向上させることが示されている。
本手法は,ほとんどの算術的・常識的推論タスクにおいて,ゼロショットのCoTや少数ショットのCoTを超えるだけでなく,既存のプロンプトメソッドとシームレスに統合できる。
論文 参考訳（メタデータ） (2024-03-13T03:15:05Z) - Hint-before-Solving Prompting: Guiding LLMs to Effectively Utilize
Encoded Knowledge [85.17343729885003]
我々は,Hint-before-Solving Prompting (HSP)を導入し,その問題を解くためのヒントを生成する。
HSPは推論タスクの精度を効果的に向上させることができる。
我々はHSPと細調整されたLlemma-7Bに基づいてHSPMATHデータセットを構築し、64.3精度を達成した。
論文 参考訳（メタデータ） (2024-02-22T05:58:03Z) - In-Context Principle Learning from Mistakes [75.66979331850364]
Incontext Learning(ICL)は、いくつかの入力出力例から学習することで、下流タスクにLLMを適用する標準的な方法である。
我々はこのパラダイムを再考し、数少ないインプット・アウトプットの例からより多くを学ぶ。
論文 参考訳（メタデータ） (2024-02-08T04:42:29Z) - Evidence to Generate (E2G): A Single-agent Two-step Prompting for
Context Grounded and Retrieval Augmented Reasoning [3.117335706912261]
Evidence to Generate(E2G)は、新しいシングルエージェント、2ステッププロンプトフレームワークである。
証明されていない推論の主張の代わりに、E2Gは文脈で明確に言及された思考列にのみ焦点をあてる。
ツールは、幅広い知識集約的な推論と生成タスクにおいて、顕著な結果を達成する。
論文 参考訳（メタデータ） (2024-01-11T09:49:15Z) - Resprompt: Residual Connection Prompting Advances Multi-Step Reasoning in Large Language Models [73.4425450752596]
チェーン・オブ・シント(CoT)のプロンプトによって、大きな言語モデル(LLM)の推論の可能性は著しく解放された。
しかし、標準的なCoTは複数の推論ステップを必要とする問題では効果が低い。
LLMにおける多段階推論を推し進める新しいプロンプト戦略であるRESPROMPTを提案する。
論文 参考訳（メタデータ） (2023-10-07T08:56:28Z) - Chain-of-Symbol Prompting Elicits Planning in Large Langauge Models [50.02468709238182]
自然言語計画と行動(Natala)という,一連の新しいタスクからなるベンチマークを提案する。
現在、ChatGPTのようなLLMには複雑な計画能力がないことが分かっています。
本稿では,凝縮した記号空間表現を持つ複雑な環境を表現するCoS(Chain-of-Symbol Prompting)を提案する。
論文 参考訳（メタデータ） (2023-05-17T15:07:50Z) - Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning
by Large Language Models [23.805926737723603]
大規模言語モデル(LLM)の推論ステップを生成するために、手作業でステップバイステップの推論デモを作成することができる。
Zero-shot-CoTs は LLM への入力プロンプトとして "Let's Think by Step" でターゲット問題文をプロンプトする。
提案したゼロショットのプロンプトが全データセットでゼロショットCoTをはるかに上回っていることを示す。
論文 参考訳（メタデータ） (2023-05-06T16:34:37Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳（メタデータ） (2022-12-20T05:20:54Z) - Large Language Models are Zero-Shot Reasoners [28.6899375595088]
思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。
LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。
実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
論文 参考訳（メタデータ） (2022-05-24T09:22:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。