論文の概要: Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.06707v1
• Date: Thu, 9 May 2024 08:46:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-14 20:31:40.643643
• Title: Hypothesis Testing Prompting Improves Deductive Reasoning in Large Language Models
• Title（参考訳）: 仮説テストによる大規模言語モデルの推論改善
• Authors: Yitian Li, Jidong Tian, Hao He, Yaohui Jin,
• Abstract要約: textitHypothesis Testing Promptingは、中間推論ステップ中に結論の仮定、後方推論、事実検証を追加する。 実験によると、仮説テストは効果を著しく改善するだけでなく、より合理的で標準化された推論プロセスを生成する。
• 参考スコア（独自算出の注目度）: 19.879616265315637
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Combining different forms of prompts with pre-trained large language models has yielded remarkable results on reasoning tasks (e.g. Chain-of-Thought prompting). However, along with testing on more complex reasoning, these methods also expose problems such as invalid reasoning and fictional reasoning paths. In this paper, we develop \textit{Hypothesis Testing Prompting}, which adds conclusion assumptions, backward reasoning, and fact verification during intermediate reasoning steps. \textit{Hypothesis Testing prompting} involves multiple assumptions and reverses validation of conclusions leading to its unique correct answer. Experiments on two challenging deductive reasoning datasets ProofWriter and RuleTaker show that hypothesis testing prompting not only significantly improves the effect, but also generates a more reasonable and standardized reasoning process.
• Abstract（参考訳）: 異なる形式のプロンプトと事前訓練された大きな言語モデルを組み合わせることで、推論タスク(例えばChain-of-Thoughtプロンプト)において顕著な結果が得られた。 しかし、より複雑な推論のテストとともに、これらの手法は、無効な推論や架空の推論経路といった問題も露呈する。 本稿では,中間推論段階における結論仮定,後方推論,事実検証を付加する「textit{Hypothesis Testing Prompting}」を開発する。 \textit{Hypothesis Testing prompting} は複数の仮定を伴い、結論の検証を反転させる。 ProofWriter と RuleTaker の2つの挑戦的な推論データセットの実験は、仮説テストが効果を著しく改善するだけでなく、より合理的で標準化された推論プロセスを生成することを示している。

関連論文リスト

• Phenomenal Yet Puzzling: Testing Inductive Reasoning Capabilities of Language Models with Hypothesis Refinement [92.61557711360652]
  言語モデル(LM)は、しばしば帰納的推論に不足する。 我々は,反復的仮説修正を通じて,LMの帰納的推論能力を体系的に研究する。 本研究は, LMの誘導的推論過程と人間とのいくつかの相違点を明らかにし, 誘導的推論タスクにおけるLMの使用の可能性と限界に光を当てる。
  論文  参考訳（メタデータ） (2023-10-12T17:51:10Z)
• Deductive Verification of Chain-of-Thought Reasoning [22.79166959432764]
  大型言語モデル(LLM)は、様々な推論タスクを実行する上で、Chain-of-Thoughtの恩恵を受ける。 CoTはモデルがより包括的な推論プロセスを生成することを可能にするが、中間的推論ステップに重点を置くことは、必然的に幻覚や累積エラーをもたらす可能性がある。 本研究では,自然言語に基づく帰納的推論形式であるNatural Programを提案する。
  論文  参考訳（メタデータ） (2023-06-06T17:18:56Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations [71.2950434944196]
  ノイズや一貫性のない言語モデルでさえも問題に対する正しい答えを推測するMaieutic Promptingを開発する。 Maieutic Promptingは最先端のプロンプト法よりも最大20%精度が高い。
  論文  参考訳（メタデータ） (2022-05-24T06:36:42Z)
• An Interpretable Neuro-Symbolic Reasoning Framework for Task-Oriented Dialogue Generation [21.106357884651363]
  我々は,モデル決定を推論チェーンで正当化する明示的推論を行うために,ニューロシンボリックを導入する。 仮説生成器と推論器からなる2相手法を提案する。 システム全体は、推論チェーンアノテーションを使わずに、生のテキスト対話を利用して訓練される。
  論文  参考訳（メタデータ） (2022-03-11T10:44:08Z)
• Natural Language Deduction through Search over Statement Compositions [43.93269297653265]
  本稿では,タスクを最優先探索で協調したステップに分解する自然言語推論システムを提案する。 実験により,提案システムは検証不可能な仮説と検証不可能な仮説をよりよく区別できることを示した。
  論文  参考訳（メタデータ） (2022-01-16T12:05:48Z)
• ReasonBERT: Pre-trained to Reason with Distant Supervision [17.962648165675684]
  ReasonBertは、言語モデルを拡張し、長距離関係や複数の、おそらくはハイブリッドなコンテキストを推論する能力を持つ事前学習手法である。 様々な種類の推論がシミュレートされ、複数の証拠を交わし、ある証拠から別の証拠に橋渡しし、解決不可能な事例を検出する。
  論文  参考訳（メタデータ） (2021-09-10T14:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。