論文の概要: Large Language Models are Better Reasoners with Self-Verification

• arxiv url: http://arxiv.org/abs/2212.09561v5
• Date: Thu, 19 Oct 2023 12:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 20:59:38.676601
• Title: Large Language Models are Better Reasoners with Self-Verification
• Title（参考訳）: 大規模言語モデルによる自己検証による推論精度の向上
• Authors: Yixuan Weng, Minjun Zhu, Fei Xia, Bin Li, Shizhu He, Shengping Liu, Bin Sun, Kang Liu, Jun Zhao
• Abstract要約: 大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。 思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。 また,LLMにも同様な自己検証能力があることを示す。
• 参考スコア（独自算出の注目度）: 48.534270563880845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, with the chain of thought (CoT) prompting, large language models (LLMs), e.g., GPT-3, have shown strong reasoning ability in several natural language processing tasks such as arithmetic, commonsense, and logical reasoning. However, LLMs with CoT require multi-step prompting and multi-token prediction, which is highly sensitive to individual mistakes and vulnerable to error accumulation. The above issues make the LLMs need the ability to verify the answers. In fact, after inferring conclusions in some thinking decision tasks, people often check them by re-verifying steps to avoid some mistakes. In this paper, we propose and prove that LLMs also have similar self-verification abilities. We take the conclusion obtained by CoT as one of the conditions for solving the original problem. By performing a backward verification of the answers that LLM deduced for itself, we can obtain interpretable answer validation scores to select the candidate answer with the highest score. Experimental results demonstrate that the proposed method can improve the reasoning performance on various arithmetic, commonsense, and logical reasoning datasets. Our code is publicly available at: https://github.com/WENGSYX/Self-Verification.
• Abstract（参考訳）: 近年、思考(CoT)の連鎖により、GPT-3のような大規模言語モデル(LLM)は、算術、常識、論理的推論といったいくつかの自然言語処理タスクにおいて強い推論能力を示している。 しかし、CoT を用いた LLM では、複数ステップのプロンプトとマルチトークン予測が必要であり、個々のミスに非常に敏感であり、エラーの蓄積に弱い。 上記の問題は、LLMが答えを検証する能力を必要としている。 実際、ある思考決定タスクで結論を推論した後、人々は間違いを避けるためのステップを再検証することでそれらをチェックします。 本稿では,LLMにも類似した自己検証能力があることを示す。 本稿では,CoTによる結論を,元の問題を解決する条件の一つとみなす。 LLMが自ら推論した回答の後方検証を行うことで、解釈可能な回答検証スコアを取得し、最も高いスコアで候補回答を選択することができる。 実験の結果,提案手法は様々な算術,コモンセンス,論理推論データセットの推論性能を向上させることができることがわかった。 私たちのコードは、https://github.com/WENGSYX/Self-Verificationで公開されています。

関連論文リスト

• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• Large Language Models Can Self-Correct with Key Condition Verification [39.67266805233599]
  単純で効果的な検証手法は,大規模言語モデルの本質的な能力を解き放つことができる。 本稿では, 誤応答を段階的に識別し, 訂正する反復的検証列補正フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T01:43:45Z)
• LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models [52.03659714625452]
  最近開発された大規模言語モデル (LLM) は、幅広い言語理解タスクにおいて非常によく機能することが示されている。 しかし、それらは自然言語に対して本当に「理性」があるのだろうか? この疑問は研究の注目を集めており、コモンセンス、数値、定性的など多くの推論技術が研究されている。
  論文  参考訳（メタデータ） (2024-04-23T21:08:49Z)
• CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
  我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。 ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
  論文  参考訳（メタデータ） (2023-12-07T15:12:12Z)
• Zero-Shot Question Answering over Financial Documents using Large Language Models [0.18749305679160366]
  我々は,財務報告に対するマルチホップ数値推論を必要とする複雑な問題に答えるために,大規模言語モデル(LLM)に基づくアプローチを導入する。 LLMを誘導する新しいゼロショットプロンプトを使用して、必要な推論をPythonプログラムやドメイン固有言語にエンコードします。
  論文  参考訳（メタデータ） (2023-11-19T16:23:34Z)
• Forward-Backward Reasoning in Large Language Models for Mathematical Verification [65.9495774606273]
  自己整合性(Self-Consistency)は、さまざまな推論チェーンの回答をサンプリングし、多数決によって最終回答を選択する。 候補解の検証に後方推論を導入する。 検証のための FOrward と BAckward Reasoning は最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-08-15T13:19:59Z)
• SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step Reasoning [55.76083560152823]
  SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。 我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
  論文  参考訳（メタデータ） (2023-08-01T10:31:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。