論文の概要: Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence
- arxiv url: http://arxiv.org/abs/2103.08541v1
- Date: Mon, 15 Mar 2021 17:05:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 14:22:03.848975
- Title: Get Your Vitamin C! Robust Fact Verification with Contrastive Evidence
- Title（参考訳）: ビタミンCを入手!
確率的エビデンスを用いたロバスト事実検証
- Authors: Tal Schuster, Adam Fisch, Regina Barzilay
- Abstract要約: ビタミンCは、わずかな事実の変化を識別し、調整するために事実検証モデルを必要とする困難なケースに注入されたベンチマークです。
私たちは、根底にある事実を変更する100,000以上のWikipediaリビジョンを収集し、これらのリビジョンを活用して40,000以上のクレーム証拠ペアを作成します。
この設計を用いたトレーニングは堅牢性を高め、対人的事実検証の精度を10%向上し、対人的自然言語推論の6%向上を示した。
- 参考スコア（独自算出の注目度）: 32.63174559281556
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typical fact verification models use retrieved written evidence to verify
claims. Evidence sources, however, often change over time as more information
is gathered and revised. In order to adapt, models must be sensitive to subtle
differences in supporting evidence. We present VitaminC, a benchmark infused
with challenging cases that require fact verification models to discern and
adjust to slight factual changes. We collect over 100,000 Wikipedia revisions
that modify an underlying fact, and leverage these revisions, together with
additional synthetically constructed ones, to create a total of over 400,000
claim-evidence pairs. Unlike previous resources, the examples in VitaminC are
contrastive, i.e., they contain evidence pairs that are nearly identical in
language and content, with the exception that one supports a given claim while
the other does not. We show that training using this design increases
robustness -- improving accuracy by 10% on adversarial fact verification and 6%
on adversarial natural language inference (NLI). Moreover, the structure of
VitaminC leads us to define additional tasks for fact-checking resources:
tagging relevant words in the evidence for verifying the claim, identifying
factual revisions, and providing automatic edits via factually consistent text
generation.
- Abstract（参考訳）: 典型的な事実検証モデルは、検索された証拠を用いてクレームを検証する。
しかし、証拠源は、より多くの情報が収集され、修正されるにつれて、しばしば変化します。
適応するために、モデルはサポート証拠の微妙な違いに敏感でなければなりません。
本稿では, 事実検証モデルを用いて, 微妙な事実変化を識別・調整する, 挑戦的なケースを取り入れたベンチマークであるVitaminCを提案する。
私たちは、基礎となる事実を修正する100,000以上のWikipediaリビジョンを収集し、これらのリビジョンと追加の合成リビジョンを活用して、合計40,000以上のクレーム証拠ペアを作成します。
以前の資源とは異なり、ビタミンcの例は対照的であり、言語と内容でほぼ同一の証拠ペアを含んでいるが、一方は与えられた主張を支持し、もう一方はそうではない。
この設計を用いたトレーニングは堅牢性を高め、対人的事実検証の精度を10%向上し、対人的自然言語推論(NLI)の6%向上させることを示した。
さらに、VitaminCの構造は、クレーム検証の証拠に関連語をタグ付けし、事実修正を識別し、事実整合性のあるテキスト生成による自動編集を提供することによって、ファクトチェックリソースのための追加タスクを定義する。
関連論文リスト
- FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。
我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。
この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
論文 参考訳（メタデータ） (2024-11-08T21:26:57Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳（メタデータ） (2024-10-07T00:09:50Z) - Credible, Unreliable or Leaked?: Evidence Verification for Enhanced Automated Fact-checking [11.891881050619457]
『信頼性・信頼性・信頼性・漏れ』データセットは、Credible, Un Reliable, Fact Check (Leaked)に分類される91,632件からなる。
「証拠検証ネットワーク(EVVER-Net)は、短文・長文ともに漏洩・信頼性の低い証拠を検出するためにCREDULEで訓練した」
「EVVER-Netは91.5%と94.4%の精度で素晴らしい性能を誇示できる」
論文 参考訳（メタデータ） (2024-04-29T13:47:04Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳（メタデータ） (2023-05-02T03:23:14Z) - Implicit Temporal Reasoning for Evidence-Based Fact-Checking [14.015789447347466]
本研究は,証拠に基づく事実検証のクレーム検証プロセスに時間的効果が有意な影響を及ぼすことを示す。
本研究は, 時間情報の存在と, タイムラインの構築方法が, 事実確認モデルが証拠文書の関連性, サポート, 反証性を決定する方法に大きく影響していることを示す。
論文 参考訳（メタデータ） (2023-02-24T10:48:03Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳（メタデータ） (2022-02-18T19:01:01Z) - Evidence-based Factual Error Correction [18.52583883901634]
本稿では,事実誤り訂正の課題を紹介する。
これは、反論されるか、証拠によって部分的にのみ支持される文章を訂正するメカニズムを提供する。
論文 参考訳（メタデータ） (2021-06-02T11:00:17Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳（メタデータ） (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。