論文の概要: AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web

• arxiv url: http://arxiv.org/abs/2305.13117v2
• Date: Wed, 24 May 2023 10:44:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 11:02:35.425191
• Title: AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web
• Title（参考訳）: AVeriTeC: Webによる実世界のクレーム検証のためのデータセット
• Authors: Michael Schlichtkrull, Zhijiang Guo, Andreas Vlachos
• Abstract要約: AVeriTeCは、50の異なる組織によるファクトチェックをカバーする4,568の現実世界のクレームの新しいデータセットである。 それぞれのクレームには、オンラインで利用可能な証拠によって支持される質問と回答のペアと、証拠がどのように組み合わさって判断を下すかを説明する文章の正当性が含まれている。
• 参考スコア（独自算出の注目度）: 29.31403478318331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing datasets for automated fact-checking have substantial limitations, such as relying on artificial claims, lacking annotations for evidence and intermediate reasoning, or including evidence published after the claim. In this paper we introduce AVeriTeC, a new dataset of 4,568 real-world claims covering fact-checks by 50 different organizations. Each claim is annotated with question-answer pairs supported by evidence available online, as well as textual justifications explaining how the evidence combines to produce a verdict. Through a multi-round annotation process, we avoid common pitfalls including context dependence, evidence insufficiency, and temporal leakage, and reach a substantial inter-annotator agreement of $\kappa=0.619$ on verdicts. We develop a baseline as well as an evaluation scheme for verifying claims through several question-answering steps against the open web.
• Abstract（参考訳）: 既存のファクトチェック用のデータセットには、人工的なクレームへの依存、証拠のアノテーションの欠如、中間的推論、クレーム後に公開された証拠など、かなりの制限がある。 本稿では,50の異なる組織によるファクトチェックをカバーする実世界の4,568件の新しいデータセットであるAVeriTeCを紹介する。 それぞれの主張には、オンラインで入手可能な証拠が支持する質問と回答のペアと、証拠が合わさって評決を生成する方法を説明する文書的正当化が注釈されている。 多段階のアノテーションプロセスを通じて、文脈依存、証拠不足、時間的漏洩などの一般的な落とし穴を避け、評決で$\kappa=0.619$という実質的なアノテーション間合意に達する。 我々は,オープンウェブに対する質問回答のステップを通じて,クレームを検証するためのベースラインと評価手法を開発した。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic [12.078052727772718]
  我々は、COVID-19パンデミックに関する4,086ドルという、FEVERに似たデータセットのCOVID-Factを紹介します。 データセットには、クレーム、クレームの証拠、および証拠によって否定される矛盾するクレームが含まれている。
  論文  参考訳（メタデータ） (2021-06-07T16:59:46Z)
• Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification [19.130541561303293]
  本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。 2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:33:12Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Hierarchical Evidence Set Modeling for Automated Fact Extraction and Verification [5.836068916903788]
  階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。 実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
  論文  参考訳（メタデータ） (2020-10-10T22:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。