論文の概要: Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning

• arxiv url: http://arxiv.org/abs/2210.12217v1
• Date: Fri, 21 Oct 2022 19:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 13:28:44.186632
• Title: Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning
• Title（参考訳）: Entailer: 推論の忠実で誠実な鎖で質問に答える
• Authors: Oyvind Tafjord, Bhavana Dalvi Mishra, Peter Clark
• Abstract要約: 質問応答システムは、体系的な推論の連鎖を通して、その答えが自身の内的信念によってどのように示唆されるかを示す。 我々のアプローチは、トレーニングされた後方チェーンモデルで、回答仮説を含む一連の前提を生成することができ、モデル自体がそれらの前提を信じることを確認する検証器を組み合わせることです。 私たちの知る限りでは、これは多段階連鎖を生成できる最初のシステムであり、それは忠実であり(その答えは推論から従う)、真実である(連鎖はシステムの内部の信念を反映している)。
• 参考スコア（独自算出の注目度）: 26.715242799194908
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Our goal is a question-answering (QA) system that can show how its answers are implied by its own internal beliefs via a systematic chain of reasoning. Such a capability would allow better understanding of why a model produced the answer it did. Our approach is to recursively combine a trained backward-chaining model, capable of generating a set of premises entailing an answer hypothesis, with a verifier that checks that the model itself believes those premises (and the entailment itself) through self-querying. To our knowledge, this is the first system to generate multistep chains that are both faithful (the answer follows from the reasoning) and truthful (the chain reflects the system's own internal beliefs). In evaluation using two different datasets, users judge that a majority (70%+) of generated chains clearly show how an answer follows from a set of facts - substantially better than a high-performance baseline - while preserving answer accuracy. By materializing model beliefs that systematically support an answer, new opportunities arise for understanding the model's system of belief, and diagnosing and correcting its misunderstandings when an answer is wrong.
• Abstract（参考訳）: 我々のゴールは質問回答システム(QA)であり、その答えが、体系的な推論の連鎖を通じて、自身の内的信念によってどのように示唆されているかを示すことができる。 このような能力は、モデルがなぜその答えを生み出したのかをよりよく理解することを可能にする。 我々のアプローチは、トレーニングされた後方連鎖モデルと、回答仮説を含む一連の前提を生成することの可能なモデルと、モデル自体が自己クエリを通じてそれらの前提(およびそれ自身)を信じることを確認する検証器を、再帰的に組み合わせることです。 私たちの知る限りでは、これは忠実(解答は推論から従う)と真理(連鎖はシステムの内的信念を反映している)の両方の多段階連鎖を生成する最初のシステムである。 2つの異なるデータセットを使用した評価では、生成されたチェーンの過半数(70%以上)が、回答の正確さを維持しながら、一連の事実(高性能なベースラインよりもはるかに優れている)から回答がどのように従うかを明確に示している。 答えを体系的に支持するモデル信念を具現化することにより、モデルの信念体系を理解し、答えが間違っているときにその誤解を診断し修正する新たな機会が生まれる。

関連論文リスト

• Chain-of-Probe: Examing the Necessity and Accuracy of CoT Step-by-Step [81.50681925980135]
  モデル推論における心の変化を探索する手法を提案する。 心的変化のパターンを解析することにより,モデルの推論の正しさを検証した。 我々の検証では、最終回答では正しいが、多くの応答が推論プロセスに誤りを含んでいることが明らかになった。
  論文  参考訳（メタデータ） (2024-06-23T15:50:22Z)
• Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions [93.40614719648386]
  大規模言語モデル(LLM)は、知識集約的な複雑な質問にチェーン・オブ・シント(CoT)推論で答えることができる。 最近の研究は、CoT推論を強化するための外部知識の回収に向けられている。 確率的ツリー・オブ・シント推論(ProbTree)という新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:52:37Z)
• Language Models with Rationality [57.37201135072838]
  大規模言語モデル(LLM)は質問応答(QA)に熟練している 答えが潜んでいる「信条」からどのように従うか(あるいはたとえも)は必ずしも明確ではない。
  論文  参考訳（メタデータ） (2023-05-23T17:04:25Z)
• Answering Questions by Meta-Reasoning over Multiple Chains of Thought [53.55653437903948]
  MCR(Multi-Chain Reasoning)は,大規模言語モデルに対して,複数の思考連鎖に対するメタ推論を促す手法である。 MCRは、異なる推論連鎖を調べ、それら間で情報を混合し、説明を生成し、答えを予測する際に最も関係のある事実を選択する。
  論文  参考訳（メタデータ） (2023-04-25T17:27:37Z)
• ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness [67.49087159888298]
  ReCEvalは2つの重要な特性(正確性と情報性)を通じて推論チェーンを評価するフレームワークである。 本稿では、ReCEvalが様々なエラータイプを効果的に識別し、従来の手法と比較して顕著な改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-04-21T02:19:06Z)
• Measuring and Narrowing the Compositionality Gap in Language Models [116.5228850227024]
  モデルがすべてのサブプロブレムに正しく答えられる頻度を計測するが、全体の解は生成しない。 我々は,思考の連鎖をさらに改善する新たな手法である自己認識法を提案する。
  論文  参考訳（メタデータ） (2022-10-07T06:50:23Z)
• Towards Teachable Reasoning Systems [29.59387051046722]
  質問応答のための授業可能な推論システム(QA)を開発した。 私たちのアプローチは3つあります。 まず、生成された推論の連鎖は、システムの内部の信念によってどのように答えが示唆されるかを示しています。 第二に、ユーザーは説明と対話して誤ったモデル信念を特定し、修正を行うことができる。 第3に、そのような補正の動的なメモリでモデルを増強する。
  論文  参考訳（メタデータ） (2022-04-27T17:15:07Z)
• Think about it! Improving defeasible reasoning by first modeling the question scenario [35.6110036360506]
  決定可能な推論とは、新たな証拠を考慮して結論を覆すことができる推論の方法である。 私たちの研究目標は、デファシブルなクエリに答える前に、問題シナリオを想定することで、ニューラルモデルが同様にメリットを享受できるかどうかを問うことです。 我々のシステムであるCURIOUSは、3つの異なるデファシブル推論データセット上で新しい最先端の推論を実現する。
  論文  参考訳（メタデータ） (2021-10-24T04:13:52Z)
• Robustifying Multi-hop QA through Pseudo-Evidentiality Training [28.584236042324896]
  本研究では,正解法を使わずに正しい解答を行うマルチホップ質問応答モデルのバイアス問題について検討する。 そこで本稿では, 正解が正しい証拠によって裏付けられるかどうかを判断し, 明解性を学習するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-07-07T14:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。