論文の概要: Robust Information Retrieval for False Claims with Distracting Entities In Fact Extraction and Verification

• arxiv url: http://arxiv.org/abs/2112.07618v1
• Date: Fri, 10 Dec 2021 17:11:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 16:51:20.356763
• Title: Robust Information Retrieval for False Claims with Distracting Entities In Fact Extraction and Verification
• Title（参考訳）: 事実抽出と検証における注意をそらした偽クレームに対するロバストな情報検索
• Authors: Mingwen Dong, Christos Christodoulopoulos, Sheng-Min Shih, Xiaofei Ma
• Abstract要約: 本論文は, 真理クレームと比較して, 証拠検索モデルに注意をそらすような無関係な実体を, 虚偽クレームの方が頻繁に含んでいることを示す。 BERTベースの検索モデルは、本当の主張の証拠を支持することよりも、虚偽の主張に対する反論の証拠を回収することに間違いを犯した。
• 参考スコア（独自算出の注目度）: 2.624734563929267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate evidence retrieval is essential for automated fact checking. Little previous research has focused on the differences between true and false claims and how they affect evidence retrieval. This paper shows that, compared with true claims, false claims more frequently contain irrelevant entities which can distract evidence retrieval model. A BERT-based retrieval model made more mistakes in retrieving refuting evidence for false claims than supporting evidence for true claims. When tested with adversarial false claims (synthetically generated) containing irrelevant entities, the recall of the retrieval model is significantly lower than that for original claims. These results suggest that the vanilla BERT-based retrieval model is not robust to irrelevant entities in the false claims. By augmenting the training data with synthetic false claims containing irrelevant entities, the trained model achieved higher evidence recall, including that of false claims with irrelevant entities. In addition, using separate models to retrieve refuting and supporting evidence and then aggregating them can also increase the evidence recall, including that of false claims with irrelevant entities. These results suggest that we can increase the BERT-based retrieval model's robustness to false claims with irrelevant entities via data augmentation and model ensemble.
• Abstract（参考訳）: 自動事実確認には正確な証拠検索が不可欠である。 これまでの研究では、真と偽の主張の違いと、それらが証拠検索にどのように影響するかに焦点が当てられていた。 本稿では,真理クレームに比較して,証拠検索モデルに注意をそらすような無関係な実体をしばしば含んでいることを示す。 BERTベースの検索モデルは、本当の主張の証拠を支持することよりも、虚偽の主張に対する反論の証拠を回収することに間違いを犯した。 無関係なエンティティを含む逆偽のクレーム(合成生成)でテストした場合、検索モデルのリコールは元のクレームよりも大幅に低い。 これらの結果は,バニラBERTに基づく検索モデルは,虚偽クレームにおける無関係なエンティティに対して堅牢ではないことを示唆している。 無関係なエンティティを含む合成虚偽のクレームでトレーニングデータを増強することで、トレーニングされたモデルは、無関係なエンティティを含む虚偽のクレームを含む高いエビデンスリコールを達成した。 さらに、別のモデルを用いて反証や証拠を回収し、それらを集約することで、無関係なエンティティによる虚偽のクレームを含む証拠のリコールも増やすことができる。 これらの結果から,BERTに基づく検索モデルのロバスト性は,データ拡張とモデルアンサンブルにより,無関係なエンティティによる偽のクレームに対して向上することが示唆された。

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• COVID-Fact: Fact Extraction and Verification of Real-World Claims on COVID-19 Pandemic [12.078052727772718]
  我々は、COVID-19パンデミックに関する4,086ドルという、FEVERに似たデータセットのCOVID-Factを紹介します。 データセットには、クレーム、クレームの証拠、および証拠によって否定される矛盾するクレームが含まれている。
  論文  参考訳（メタデータ） (2021-06-07T16:59:46Z)
• Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact Verification [19.130541561303293]
  本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。 2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-02T14:33:12Z)
• Automatic Fake News Detection: Are Models Learning to Reason? [9.143551270841858]
  クレームと証拠の両方の関係と重要性を調査します。 驚くべきことに、政治的事実チェックデータセットでは、最も頻繁に最も有効性が高いことが証拠のみを利用して得られます。 これは、既存のフェイクニュース検出手法における証拠を構成する重要な問題である。
  論文  参考訳（メタデータ） (2021-05-17T09:34:03Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。