論文の概要: Contrastive Learning to Improve Retrieval for Real-world Fact Checking

• arxiv url: http://arxiv.org/abs/2410.04657v1
• Date: Mon, 7 Oct 2024 00:09:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:47:36.366768
• Title: Contrastive Learning to Improve Retrieval for Real-world Fact Checking
• Title（参考訳）: 実世界のファクトチェックのための検索改善のためのコントラスト学習
• Authors: Aniruddh Sriram, Fangyuan Xu, Eunsol Choi, Greg Durrett,
• Abstract要約: ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
• 参考スコア（独自算出の注目度）: 84.57583869042791
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on fact-checking addresses a realistic setting where models incorporate evidence retrieved from the web to decide the veracity of claims. A bottleneck in this pipeline is in retrieving relevant evidence: traditional methods may surface documents directly related to a claim, but fact-checking complex claims requires more inferences. For instance, a document about how a vaccine was developed is relevant to addressing claims about what it might contain, even if it does not address them directly. We present Contrastive Fact-Checking Reranker (CFR), an improved retriever for this setting. By leveraging the AVeriTeC dataset, which annotates subquestions for claims with human written answers from evidence documents, we fine-tune Contriever with a contrastive objective based on multiple training signals, including distillation from GPT-4, evaluating subquestion answers, and gold labels in the dataset. We evaluate our model on both retrieval and end-to-end veracity judgments about claims. On the AVeriTeC dataset, we find a 6\% improvement in veracity classification accuracy. We also show our gains can be transferred to FEVER, ClaimDecomp, HotpotQA, and a synthetic dataset requiring retrievers to make inferences.
• Abstract（参考訳）: ファクトチェックに関する最近の研究は、モデルがWebから取得した証拠を組み込んでクレームの正確性を決定する現実的な環境に対処している。 このパイプラインのボトルネックは、関連する証拠を検索することにある。従来のメソッドは、クレームに直接関係するドキュメントをサーフェする可能性があるが、ファクトチェックの複雑なクレームは、より多くの推論を必要とする。 例えば、ワクチンの開発方法に関する文書は、たとえ直接的にワクチンに対処していなくても、ワクチンに含まれる可能性のあるものに関する主張に対処することに関連する。 本稿では, コントラスト型Fact-Checking Reranker (CFR) について述べる。 AVeriTeCデータセットを利用することで、証拠文書からの人間による回答によるクレームのアノテートを行い、GPT-4からの蒸留、サブクレーム回答の評価、データセット内のゴールドラベルなどを含む複数のトレーニング信号に基づいて、コントリビュータを比較対象として微調整する。 我々は,クレームに対する検索とエンドツーエンドの精度判定の両面からモデルを評価する。 AVeriTeC データセットでは,精度が 6 % 向上した。 また、このゲインをFEVER、ClaymDecomp、HotpotQA、および検索者による推論を必要とする合成データセットに転送できることを示す。

関連論文リスト

• Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments [23.639378586798884]
  コントラスト引数の合成による検索拡張現実事実検証を提案する。 提案手法は,関連文書を証拠として効果的に検索し,様々な視点から議論を評価する。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-14T08:13:34Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic [12.078052727772718]
  我々は、COVID-19パンデミックに関する4,086ドルという、FEVERに似たデータセットのCOVID-Factを紹介します。 データセットには、クレーム、クレームの証拠、および証拠によって否定される矛盾するクレームが含まれている。
  論文  参考訳（メタデータ） (2021-06-07T16:59:46Z)
• Zero-shot Fact Verification by Claim Generation [85.27523983027471]
  我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。 われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。 ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
  論文  参考訳（メタデータ） (2021-05-31T03:13:52Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。