論文の概要: CHECKWHY: Causal Fact Verification via Argument Structure

• arxiv url: http://arxiv.org/abs/2408.10918v2
• Date: Tue, 24 Sep 2024 07:44:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 06:22:37.680398
• Title: CHECKWHY: Causal Fact Verification via Argument Structure
• Title（参考訳）: CHECKWHY:Argument 構造による因果関係の検証
• Authors: Jiasheng Si, Yibo Zhao, Yingjie Zhu, Haiyang Zhu, Wenpeng Lu, Deyu Zhou,
• Abstract要約: CheckWhyは、新しい因果事実検証タスクに適したデータセットである。 CheckWhyは19K以上の「なぜ」クレーム・エビデンス・アグメント構造三重奏団で構成されており、サポート、反響、十分な情報ラベルがない。
• 参考スコア（独自算出の注目度）: 19.347690600431463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing complexity of fact verification tasks, the concern with "thoughtful" reasoning capabilities is increasing. However, recent fact verification benchmarks mainly focus on checking a narrow scope of semantic factoids within claims and lack an explicit logical reasoning process. In this paper, we introduce CheckWhy, a challenging dataset tailored to a novel causal fact verification task: checking the truthfulness of the causal relation within claims through rigorous reasoning steps. CheckWhy consists of over 19K "why" claim-evidence-argument structure triplets with supports, refutes, and not enough info labels. Each argument structure is composed of connected evidence, representing the reasoning process that begins with foundational evidence and progresses toward claim establishment. Through extensive experiments on state-of-the-art models, we validate the importance of incorporating the argument structure for causal fact verification. Moreover, the automated and human evaluation of argument structure generation reveals the difficulty in producing satisfying argument structure by fine-tuned models or Chain-of-Thought prompted LLMs, leaving considerable room for future improvements.
• Abstract（参考訳）: 事実検証タスクの複雑さが増すにつれ、"思慮深い"推論能力への懸念が高まっている。 しかし、最近の事実検証ベンチマークは主にクレーム内のセマンティック・ファクトイドの狭い範囲をチェックすることに焦点を当てており、明確な論理的推論プロセスが欠如している。 本稿では,新たな因果事実検証タスクに適した課題データセットであるCheckWhyを紹介し,厳密な推論ステップを通じて,クレーム内の因果関係の真偽を確認する。 CheckWhyは19K以上の「なぜ」クレーム・エビデンス・アグメント構造三重奏団で構成されており、サポート、反響、十分な情報ラベルがない。 それぞれの議論構造は、基礎的な証拠から始まり、主張の確立へと進む推論過程を表す、連結された証拠で構成されている。 最先端モデルに関する広範な実験を通じて、因果事実検証に引数構造を組み込むことの重要性を検証した。 さらに, 議論構造生成の自動化と人為的評価により, 微調整モデルによる満足度の高い議論構造の生成が困難であること, あるいは, LLMを誘導し, 将来的な改善の余地が残されていること, などを明らかにした。

関連論文リスト

• Counterfactual and Semifactual Explanations in Abstract Argumentation: Formal Foundations, Complexity and Computation [19.799266797193344]
  議論ベースのシステムは、意思決定プロセスをサポートしながら説明責任を欠くことが多い。 対実的・半実的な説明は解釈可能性のテクニックである。 本稿では,制約の弱いArgumentation Frameworkにおいて,逆ファクトおよび半ファクトのクエリを符号化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-07T07:27:27Z)
• Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering [59.495717939664246]
  大規模言語モデルは、複雑な問題を解くためにチェーン・オブ・ソート(CoT)推論技術を活用することで、顕著な能力を示した。 本稿では,選択フィルタリング推論(SelF-Reasoner)と呼ばれる新しい手法を提案する。 SelF-ReasonerはScienceQA、ECQA、LastLetterタスクに対して、微調整されたT5ベースラインを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-28T06:28:35Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• QACHECK: A Demonstration System for Question-Guided Multi-Hop Fact-Checking [68.06355980166053]
  本稿では,質問誘導型マルチホップFact-Checking(QACHECK)システムを提案する。 クレームの検証に批判的な一連の質問をすることで、モデルの推論プロセスを導く。 各質問を支持する証拠の源となり、透明で説明可能な、ユーザフレンドリーな事実チェックプロセスが育まれます。
  論文  参考訳（メタデータ） (2023-10-11T15:51:53Z)
• Explainable Claim Verification via Knowledge-Grounded Reasoning with Large Language Models [36.91218391728405]
  本稿では,FOLK(First-Order-Logic-Guided Knowledge-Grounded Reasoning)を提案する。 複雑なクレームを検証し、注釈付きエビデンスを必要とせずに説明を生成することができる。 実験の結果,FOLKは3つのデータセットに対して高いベースラインを達成できた。
  論文  参考訳（メタデータ） (2023-10-08T18:04:05Z)
• Deductive Verification of Chain-of-Thought Reasoning [22.79166959432764]
  大型言語モデル(LLM)は、様々な推論タスクを実行する上で、Chain-of-Thoughtの恩恵を受ける。 CoTはモデルがより包括的な推論プロセスを生成することを可能にするが、中間的推論ステップに重点を置くことは、必然的に幻覚や累積エラーをもたらす可能性がある。 本研究では,自然言語に基づく帰納的推論形式であるNatural Programを提案する。
  論文  参考訳（メタデータ） (2023-06-06T17:18:56Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• MetaLogic: Logical Reasoning Explanations with Fine-Grained Structure [129.8481568648651]
  複雑な実生活シナリオにおけるモデルの論理的推論能力を調べるためのベンチマークを提案する。 推論のマルチホップ連鎖に基づいて、説明形式は3つの主成分を含む。 この新たな説明形式を用いて,現在のベストモデルの性能を評価した。
  論文  参考訳（メタデータ） (2022-10-22T16:01:13Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• Annotating Implicit Reasoning in Arguments with Causal Links [34.77514899468729]
  議論知識の形で暗黙の知識を特定することに注力する。 コンシークエンススキームのArgumentに着想を得て,そのような議論の知識を表現するための半構造化テンプレートを提案する。 クラウドソーシングによる高品質な暗黙的推論の収集とフィルタリング方法を示す。
  論文  参考訳（メタデータ） (2021-10-26T13:28:53Z)
• Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification [19.130541561303293]
  本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。 2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:33:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。