論文の概要: Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Perfect Reasoners

• arxiv url: http://arxiv.org/abs/2404.14963v1
• Date: Tue, 23 Apr 2024 12:16:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-24 14:11:34.428168
• Title: Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Perfect Reasoners
• Title（参考訳）: GSM8Kの97%を達成 - 問題を深く理解してLLMを完璧に共振器にする
• Authors: Qihuang Zhong, Kang Wang, Ziyang Xu, Juhua Liu, Liang Ding, Bo Du, Dacheng Tao,
• Abstract要約: 本稿では、DUP(Deeply Understanding the Problems)プロンプトと呼ばれる新しいプロンプト戦略を提案する。 1)コア質問の抽出,2)コア質問に基づく問題解決情報検索,3)大規模言語モデルによる回答の生成と抽出,の3段階から構成される。 実験の結果,DUPは全データセットでZero-Shot CoT citekojima2022largeよりも優れていた。
• 参考スコア（独自算出の注目度）: 86.03285157412839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain of Thought prompting strategy has enhanced the performance of Large Language Models (LLMs) across various NLP tasks. However, it still has shortcomings when dealing with complex reasoning tasks, following~\citet{cot_wei}, including understanding errors, calculation errors and process errors (e.g. missing-step and hallucinations). Subsequently, Our in-depth analysis of various error types has found that deeply understanding the whole problem is critical in addressing complicated reasoning tasks. In this paper, we proposed a novel prompt strategy called Deeply Understanding the Problems (DUP) prompting, inspired by how humans solve complex reasoning problems, designed to enhance the comprehensive understanding of problems by LLMs. It consists of three stages: 1) extract the core question; 2) find out problem-solving information based on the core question; 3) generate and extract answers by LLMs. We evaluate the performance of DUP prompting on ten diverse reasoning datasets. Experimental results suggest that DUP prompting significantly outperforms Zero-Shot CoT ~\cite{kojima2022large} across all datasets. Notably, DUP achieves \textbf{state-of-the-art on SVAMP (90.4\% to 94.2\%) and GSM8K (94.6\% to 97.1\%).}
• Abstract（参考訳）: The Chain of Thought prompting strategy has enhance the performance of Large Language Models (LLMs) across various NLP task。 しかし、複雑な推論タスクを扱う際には、エラーの理解、計算エラー、プロセスエラー(例えば、欠落したステップや幻覚)など、まだ欠点がある。 その後、様々なエラータイプの詳細な分析により、複雑な推論タスクに対処するためには、問題全体を深く理解することが重要であることが判明した。 本稿では,人間による複雑な推論問題の解法に触発されたDUP(Deeply Understanding the Problems)と呼ばれる新しいプロンプト戦略を提案する。 3つの段階から構成される。 1) コア質問を抽出すること。 2 中心的問題に基づく問題解決情報を見つけ出す。 3) LLM による回答の生成と抽出。 そこで本研究では,10種類の推論データセットを用いたDUPプロンプトの性能評価を行った。 実験結果から,DUPはZero-Shot CoT ~\cite{kojima2022large} を全データセットで大幅に上回っていることが示唆された。 特に DUP は SVAMP (90.4\% - 94.2\%) と GSM8K (94.6\% - 97.1\%) で \textbf{state-of-the-art を達成する。 ※

関連論文リスト

• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Fill in the Blank: Exploring and Enhancing LLM Capabilities for Backward Reasoning in Math Word Problems [17.80128896525717]
  後向きの推論は 比較的未調査です 後方推論は 前方推論の「逆」と見なすことができます 性能改善のための3つの異なる前方推論戦略のバリエーションを提案する。
  論文  参考訳（メタデータ） (2023-10-03T12:03:06Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
  大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
  論文  参考訳（メタデータ） (2023-03-04T04:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。