論文の概要: Evidence-based Verification for Real World Information Needs

• arxiv url: http://arxiv.org/abs/2104.00640v1
• Date: Thu, 1 Apr 2021 17:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:56:18.029618
• Title: Evidence-based Verification for Real World Information Needs
• Title（参考訳）: 実世界情報ニーズに対するエビデンスに基づく検証
• Authors: James Thorne, Max Glockner, Gisela Vallejo, Andreas Vlachos, Iryna Gurevych
• Abstract要約: クレーム検証は、証拠に対する文書の妥当性を予測するタスクである。 本稿では,検索エンジンクエリからインスタンスを抽出した新しいクレーム検証データセットを提案する。 各請求について、我々はセクションと文レベルの粒度の両方で完全なウィキペディアの記事から証拠を注釈します。
• 参考スコア（独自算出の注目度）: 54.86596226139524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Claim verification is the task of predicting the veracity of written statements against evidence. Previous large-scale datasets model the task as classification, ignoring the need to retrieve evidence, or are constructed for research purposes, and may not be representative of real-world needs. In this paper, we introduce a novel claim verification dataset with instances derived from search-engine queries, yielding 10,987 claims annotated with evidence that represent real-world information needs. For each claim, we annotate evidence from full Wikipedia articles with both section and sentence-level granularity. Our annotation allows comparison between two complementary approaches to verification: stance classification, and evidence extraction followed by entailment recognition. In our comprehensive evaluation, we find no significant difference in accuracy between these two approaches. This enables systems to use evidence extraction to summarize a rationale for an end-user while maintaining the accuracy when predicting a claim's veracity. With challenging claims and evidence documents containing hundreds of sentences, our dataset presents interesting challenges that are not captured in previous work -- evidenced through transfer learning experiments. We release code and data to support further research on this task.
• Abstract（参考訳）: クレーム検証は、証拠に対する文書の妥当性を予測するタスクである。 従来の大規模データセットでは、タスクを分類としてモデル化したり、証拠の取得の必要性を無視したり、研究目的のために構築されたりする。 本稿では,実世界の情報ニーズを表す証拠を付加した10,987件のクレームを検索エンジンクエリから抽出した新たなクレーム検証データセットを提案する。 それぞれの主張について、Wikipediaの全記事から、セクションと文レベルの粒度の両方でアノテートする。 本アノテーションは,姿勢分類と証拠抽出と補足認識の2つの補完的アプローチの比較を可能にする。 総合評価では,この2つのアプローチの精度に有意な差は認められなかった。 これにより,クレームの妥当性を予測した場合の正確性を維持しつつ,エンドユーザーの根拠を要約するためにエビデンス抽出を利用することができる。 数百の文を含む難解な主張と証拠文書によって、我々のデータセットは、過去の研究で捉えられなかった興味深い課題を、トランスファーラーニング実験を通じて提示する。 このタスクに関するさらなる研究をサポートするために、コードとデータをリリースします。

関連論文リスト

• Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning [4.230202411425062]
  大規模言語モデルにおける文書内証拠の検索と解釈の関係を解析する。 ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。
  論文  参考訳（メタデータ） (2025-02-19T20:48:09Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
  HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。 我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。 本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:10:40Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Claim-Dissector: An Interpretable Fact-Checking System with Joint Re-ranking and Veracity Prediction [4.082750656756811]
  本稿では,ファクトチェックと分析のための新しい潜在変数モデルであるCrim-Dissectorを提案する。 検証可能な方法で、証拠ごとの関連性確率とその最終的な妥当性確率への寄与を解き明かす。 その解釈可能な性質にもかかわらず、私たちのシステムはFEVERデータセットの最先端と競合する。
  論文  参考訳（メタデータ） (2022-07-28T14:30:06Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。