論文の概要: Complex Claim Verification with Evidence Retrieved in the Wild

• arxiv url: http://arxiv.org/abs/2305.11859v2
• Date: Sat, 15 Jun 2024 06:23:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 13:10:19.057104
• Title: Complex Claim Verification with Evidence Retrieved in the Wild
• Title（参考訳）: 野生で回収された証拠を用いた複雑クレームの検証
• Authors: Jifan Chen, Grace Kim, Aniruddh Sriram, Greg Durrett, Eunsol Choi,
• Abstract要約: Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
• 参考スコア（独自算出の注目度）: 73.19998942259073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Evidence retrieval is a core part of automatic fact-checking. Prior work makes simplifying assumptions in retrieval that depart from real-world use cases: either no access to evidence, access to evidence curated by a human fact-checker, or access to evidence available long after the claim has been made. In this work, we present the first fully automated pipeline to check real-world claims by retrieving raw evidence from the web. We restrict our retriever to only search documents available prior to the claim's making, modeling the realistic scenario where an emerging claim needs to be checked. Our pipeline includes five components: claim decomposition, raw document retrieval, fine-grained evidence retrieval, claim-focused summarization, and veracity judgment. We conduct experiments on complex political claims in the ClaimDecomp dataset and show that the aggregated evidence produced by our pipeline improves veracity judgments. Human evaluation finds the evidence summary produced by our system is reliable (it does not hallucinate information) and relevant to answering key questions about a claim, suggesting that it can assist fact-checkers even when it cannot surface a complete evidence set.
• Abstract（参考訳）: エビデンス検索は、自動ファクトチェックの中核部分である。 これまでの作業では、現実世界のユースケースから外れた検索における仮定を単純化している:証拠へのアクセス、人間の事実検査者によって算出された証拠へのアクセス、または主張が実行されてからずっと経ってから入手可能な証拠へのアクセス。 本研究では,Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提案する。 我々は、クレームが作成される前に利用可能なドキュメントのみを検索し、新たなクレームをチェックする必要がある現実的なシナリオをモデル化する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。 ClaimDecompデータセットにおける複雑な政治的主張の実験を行い、パイプラインが生成した集合的証拠が妥当性判定を改善することを示す。 人間の評価では,我々のシステムが生成したエビデンス・サマリーは信頼性が高く(幻覚的情報ではない),クレームに関する重要な疑問に答えることに関係しており,完全なエビデンス・セットを提示できない場合でもファクト・チェッカーを支援できることが示唆されている。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Search, Examine and Early-Termination: Fake News Detection with Annotation-Free Evidences [32.11238363508177]
  我々は,Web 検索したアノテーションのない証拠から有用な情報を検索する textbfSEE という手法を提案する。 実験の結果,提案手法は最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-07-10T07:22:30Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• AVeriTeC: A Dataset for Real-world Claim Verification with Evidence from the Web [20.576644330553744]
  AVeriTeCは、50の異なる組織によるファクトチェックをカバーする4,568の現実世界のクレームの新しいデータセットである。 それぞれのクレームには、オンラインで利用可能な証拠によって支持される質問と回答のペアと、証拠がどのように組み合わさって判断を下すかを説明する文章の正当性が含まれている。
  論文  参考訳（メタデータ） (2023-05-22T15:17:18Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。