論文の概要: Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Reasoners

• arxiv url: http://arxiv.org/abs/2404.14963v2
• Date: Sun, 28 Apr 2024 15:55:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 20:29:37.012078
• Title: Achieving >97% on GSM8K: Deeply Understanding the Problems Makes LLMs Better Reasoners
• Title（参考訳）: GSM8K で >97% を獲得 - 問題を深く理解することで LLM の共振器の改善
• Authors: Qihuang Zhong, Kang Wang, Ziyang Xu, Juhua Liu, Liang Ding, Bo Du, Dacheng Tao,
• Abstract要約: The Chain of Thought prompting strategy has enhance the performance of Large Language Models (LLMs) across various NLP task。 本稿では,LLMの推論能力を高めるために,DUP (Deeply Understanding the Problems) という簡便な手法を提案する。
• 参考スコア（独自算出の注目度）: 86.03285157412839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Chain of Thought prompting strategy has enhanced the performance of Large Language Models (LLMs) across various NLP tasks. However, it still has shortcomings when dealing with complex reasoning tasks, including understanding errors, calculation errors and process errors (e.g., missing-step and hallucinations). Subsequently, our in-depth analyses among various error types show that deeply understanding the whole problem is critical in addressing complicated reasoning tasks. Motivated by this, we propose a simple-yet-effective method, namely Deeply Understanding the Problems (DUP), to enhance the LLMs' reasoning abilities. The core of our method is to encourage the LLMs to deeply understand the problems and leverage the key problem-solving information for better reasoning. Extensive experiments on 10 diverse reasoning benchmarks show that our DUP method consistently outperforms the other counterparts by a large margin. More encouragingly, DUP achieves a new SOTA result on the GSM8K benchmark, with an accuracy of 97.1% in a zero-shot setting.
• Abstract（参考訳）: The Chain of Thought prompting strategy has enhance the performance of Large Language Models (LLMs) across various NLP task。 しかしながら、複雑な推論タスクを扱う際には、エラーの理解、計算エラー、プロセスエラー(例えば、欠落したステップや幻覚)などの欠点がある。 その後、様々なエラータイプについて詳細な分析を行い、複雑な推論タスクに対処する上で、問題全体を深く理解することが重要であることを示した。 そこで本研究では,LLMの推論能力を高めるために,DUP (Deeply Understanding the Problems) というシンプルな手法を提案する。 提案手法の核心は, LLMが問題を深く理解し, 重要な問題解決情報を活用し, より良い推論を行うことである。 10種類の多変量推論ベンチマークによる大規模な実験により、我々のDUP法は、他の手法よりもずっと優れています。 さらに奨励的に、DUPはGSM8Kベンチマークで新しいSOTA結果を達成する。

関連論文リスト

• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Not All LLM Reasoners Are Created Equal [58.236453890457476]
  小学校数学におけるLLMの解答能力の深さについて検討する。 既存の数式語問題に対して,それらの性能を併用して評価する。
  論文  参考訳（メタデータ） (2024-10-02T17:01:10Z)
• GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers [68.77382332826167]
  大規模言語モデル (LLM) は、様々な数学的推論ベンチマークで顕著な性能を達成している。 1つの必須かつ頻繁な証拠は、数学の質問がわずかに変更されたとき、LLMは誤って振る舞うことができることである。 このことは, LLMの数学推論能力の頑健性を評価するために, 幅広い質問のバリエーションを試すことによるものである。
  論文  参考訳（メタデータ） (2024-02-29T15:26:14Z)
• Fill in the Blank: Exploring and Enhancing LLM Capabilities for Backward Reasoning in Math Word Problems [17.80128896525717]
  後向きの推論は 比較的未調査です 後方推論は 前方推論の「逆」と見なすことができます 性能改善のための3つの異なる前方推論戦略のバリエーションを提案する。
  論文  参考訳（メタデータ） (2023-10-03T12:03:06Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• MathPrompter: Mathematical Reasoning using Large Language Models [7.953723258038284]
  大規模言語モデル (LLM) は算術的推論タスクを解く際の性能に制限がある。 MathPrompterはZero-shot-of- Thoughtプロンプト技術を使って複数の代数式やPython関数を生成し、異なる方法で同じ数学問題を解く。
  論文  参考訳（メタデータ） (2023-03-04T04:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。