論文の概要: QA-NatVer: Question Answering for Natural Logic-based Fact Verification
- arxiv url: http://arxiv.org/abs/2310.14198v1
- Date: Sun, 22 Oct 2023 06:27:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 01:12:29.975559
- Title: QA-NatVer: Question Answering for Natural Logic-based Fact Verification
- Title（参考訳）: QA-NatVer:自然論理に基づくファクト検証のための質問回答
- Authors: Rami Aly and Marek Strong and Andreas Vlachos
- Abstract要約: 我々は自然論理演算子を予測するために質問応答を用いることを提案する。
FEVERのいくつかの設定では、我々のアプローチは最高のベースラインを4.3ドルの精度で上回っている。
人間の評価から,本手法は,従来の自然論理に基づくシステムよりも,誤動作の少ない自然論理演算子でより妥当であることが示唆された。
- 参考スコア（独自算出の注目度）: 11.002475880349452
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Fact verification systems assess a claim's veracity based on evidence. An
important consideration in designing them is faithfulness, i.e. generating
explanations that accurately reflect the reasoning of the model. Recent works
have focused on natural logic, which operates directly on natural language by
capturing the semantic relation of spans between an aligned claim with its
evidence via set-theoretic operators. However, these approaches rely on
substantial resources for training, which are only available for high-resource
languages. To this end, we propose to use question answering to predict natural
logic operators, taking advantage of the generalization capabilities of
instruction-tuned language models. Thus, we obviate the need for annotated
training data while still relying on a deterministic inference system. In a
few-shot setting on FEVER, our approach outperforms the best baseline by $4.3$
accuracy points, including a state-of-the-art pre-trained seq2seq natural logic
system, as well as a state-of-the-art prompt-based classifier. Our system
demonstrates its robustness and portability, achieving competitive performance
on a counterfactual dataset and surpassing all approaches without further
annotation on a Danish verification dataset. A human evaluation indicates that
our approach produces more plausible proofs with fewer erroneous natural logic
operators than previous natural logic-based systems.
- Abstract（参考訳）: 事実検証システムは、証拠に基づいてクレームの妥当性を評価する。
それらを設計する上で重要な考慮事項は、忠実性、すなわちモデルの推論を正確に反映する説明の生成である。
最近の研究は自然言語を直接操作する自然言語に焦点を合わせており、集合論演算子を通して、アライメントの主張とその証拠の間のスパンの意味的関係を捉えている。
しかし、これらのアプローチはトレーニングにかなりのリソースに依存しており、これは高リソース言語でしか利用できない。
そこで本研究では,自然言語演算子の予測に質問応答を用い,命令調整言語モデルの一般化機能を活用することを提案する。
したがって、決定論的推論システムに依存しつつ、注釈付きトレーニングデータの必要性を回避できる。
FEVER上の数ショット設定では、最先端の訓練済みのseq2seq自然言語システムや最先端のプロンプトベースの分類器などを含む、最高のベースラインを4.3ドルの精度で上回ります。
本システムは,その堅牢性とポータビリティを実証し,対実的データセット上での競合性能を実現し,デンマークの検証データセットにさらなるアノテーションを加えることなく,すべてのアプローチを克服する。
人間による評価は、従来の自然論理に基づくシステムよりも、誤った自然論理演算子が少なく、より妥当な証明を生み出すことを示している。
関連論文リスト
- TabVer: Tabular Fact Verification with Natural Logic [11.002475880349452]
本稿では,自然論理の文脈における数値と算術関数の集合論的解釈を提案する。
大規模言語モデルを用いて,テーブル上で関数を実行することで応答するクレームの健全な部分に関する質問を生成することにより,算術式を生成する。
FEVEROUS上の数ショット設定では、71.4の精度を達成し、完全な神経的および象徴的推論モデルの両方を3.4ポイント上回る。
論文 参考訳（メタデータ） (2024-11-02T00:36:34Z) - Zero-Shot Fact Verification via Natural Logic and Large Language Models [9.789552436902342]
命令調整型大規模言語モデルの一般化機能を利用したゼロショット手法を提案する。
提案手法は,最高性能のベースラインに対して平均8.96点の精度向上を実現する。
自然論理データに基づいて訓練された現在のシステムは、他の領域にうまく一般化しない。
論文 参考訳（メタデータ） (2024-10-04T11:57:32Z) - Scaling Synthetic Logical Reasoning Datasets with Context-Sensitive Declarative Grammars [0.6537995248511139]
複数の言語を結合するフレキシブルなコンテキスト依存ルールを持つ宣言型フレームワークを提案する。
最大32の前提と1つの仮説を選択して一階述語論理問題を構築する。
生成中の意味的制約と述語に対する注意深い英語の動詞化は、自然な英語のタスクを損なうことなく論理的推論を促進することを実証する。
論文 参考訳（メタデータ） (2024-06-16T18:10:49Z) - A Chain-of-Thought Is as Strong as Its Weakest Link: A Benchmark for Verifiers of Reasoning Chains [33.46649770312231]
ステップバイステップの回答を提供するために言語モデルを実証することは、複雑な推論タスクにおいて顕著なアプローチである。
このような検証方法の徹底的な評価を可能にするための、きめ細かいステップレベルのデータセットは提供されていない。
ReVEAL: Reasoning Verification Evaluationは複雑なチェーン・オブ・ソート推論の自動検証をベンチマークするデータセットである。
論文 参考訳（メタデータ） (2024-02-01T12:46:45Z) - Empower Nested Boolean Logic via Self-Supervised Curriculum Learning [67.46052028752327]
大規模言語モデルを含む事前学習された言語モデルは、多言語論理に直面するランダムセレクタのように振る舞う。
この基本的能力で言語モデルを強化するために,本稿では,新たな自己教師付き学習手法であるtextitCurriculum Logical Reasoning (textscClr) を提案する。
論文 参考訳（メタデータ） (2023-10-09T06:54:02Z) - Modeling Hierarchical Reasoning Chains by Linking Discourse Units and
Key Phrases for Reading Comprehension [80.99865844249106]
本稿では,論理的推論の基盤として,対話レベルと単語レベルの両方の文脈を扱う総合グラフネットワーク(HGN)を提案する。
具体的には、ノードレベルの関係とタイプレベルの関係は、推論過程におけるブリッジと解釈できるが、階層的な相互作用機構によってモデル化される。
論文 参考訳（メタデータ） (2023-06-21T07:34:27Z) - ReCEval: Evaluating Reasoning Chains via Correctness and Informativeness [67.49087159888298]
ReCEvalは2つの重要な特性(正確性と情報性)を通じて推論チェーンを評価するフレームワークである。
本稿では、ReCEvalが様々なエラータイプを効果的に識別し、従来の手法と比較して顕著な改善をもたらすことを示す。
論文 参考訳（メタデータ） (2023-04-21T02:19:06Z) - APOLLO: A Simple Approach for Adaptive Pretraining of Language Models
for Logical Reasoning [73.3035118224719]
本稿では,論理的推論能力を改善した適応事前学習型言語モデルAPOLLOを提案する。
APOLLOはReClorで比較可能であり、LogiQAでベースラインを上回ります。
論文 参考訳（メタデータ） (2022-12-19T07:40:02Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason
Over Implicit Knowledge [96.92252296244233]
大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。
本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。
我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
論文 参考訳（メタデータ） (2020-06-11T17:02:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。