論文の概要: Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked
Claims in a Document
- arxiv url: http://arxiv.org/abs/2109.07410v1
- Date: Tue, 14 Sep 2021 13:46:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-16 15:21:10.211782
- Title: Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked
Claims in a Document
- Title(参考訳): 人間のファクト・チェッカーを補助する: 文書中のすべてのファクト・チェッカーを検知する
- Authors: Shaden Shaar, Firoj Alam, Giovanni Da San Martino, Preslav Nakov
- Abstract要約: 入力文書が与えられた場合、以前に事実確認されたクレームによって検証可能なクレームを含むすべての文を検出することを目的としている。
出力は文書文の再ランクリストであり、検証可能なものは可能な限り高くランク付けされる。
本分析は,テキストの類似性やスタンスをモデル化することの重要性を実証すると同時に,検索した事実チェックされたクレームの正確性も考慮する。
- 参考スコア(独自算出の注目度): 27.076320857009655
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Given the recent proliferation of false claims online, there has been a lot
of manual fact-checking effort. As this is very time-consuming, human
fact-checkers can benefit from tools that can support them and make them more
efficient. Here, we focus on building a system that could provide such support.
Given an input document, it aims to detect all sentences that contain a claim
that can be verified by some previously fact-checked claims (from a given
database). The output is a re-ranked list of the document sentences, so that
those that can be verified are ranked as high as possible, together with
corresponding evidence. Unlike previous work, which has looked into claim
retrieval, here we take a document-level perspective. We create a new manually
annotated dataset for the task, and we propose suitable evaluation measures. We
further experiment with a learning-to-rank approach, achieving sizable
performance gains over several strong baselines. Our analysis demonstrates the
importance of modeling text similarity and stance, while also taking into
account the veracity of the retrieved previously fact-checked claims. We
believe that this research would be of interest to fact-checkers, journalists,
media, and regulatory authorities.
- Abstract(参考訳): オンライン上の偽の主張が最近急増していることを考えると、手動による事実確認の努力は多い。
これは非常に時間がかかるため、人間のファクトチェッカーはそれらをサポートし、より効率的にするツールの恩恵を受けることができる。
ここでは,このようなサポートを提供するシステムの構築に注力する。
入力文書が与えられた場合、(あるデータベースから)以前に事実チェックされたクレームによって検証可能なクレームを含むすべての文を検出することを目的としている。
出力は、文書文の再ランクリストであり、検証可能なものは、対応する証拠とともに、可能な限り上位にランクされる。
クレーム検索を扱った以前の研究とは異なり、ここではドキュメントレベルの視点を取ります。
タスクに手作業でアノテートしたデータセットを作成し,適切な評価手法を提案する。
さらに、学習からランクへのアプローチを実験し、いくつかの強力なベースライン上で大きなパフォーマンス向上を達成する。
本研究は,テキストの類似性とスタンスをモデル化することの重要性を実証するとともに,検索済みの事実確認クレームの妥当性も考慮した。
この研究は、ファクトチェック、ジャーナリスト、メディア、規制当局にとって興味深いものだと考えています。
関連論文リスト
- Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳(メタデータ) (2023-05-25T15:01:19Z) - Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。
私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
論文 参考訳(メタデータ) (2023-05-19T17:49:19Z) - Read it Twice: Towards Faithfully Interpretable Fact Verification by
Revisiting Evidence [59.81749318292707]
本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。
提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
論文 参考訳(メタデータ) (2023-05-02T03:23:14Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim
Identification in Unlabeled Data for Automated Fact-Checking [6.193231258199234]
本稿では,偽ニュース記事からチェック価値のあるクレーム文を特定する手法について検討する。
我々は2つの内部監督信号(見出しと抽象的な要約)を利用して文をランク付けする。
見出しは、ファクトチェックのWebサイトがクレームを記述する方法とよく似ているが、要約ベースのパイプラインは、エンドツーエンドのファクトチェックシステムにとって最も有望である。
論文 参考訳(メタデータ) (2021-11-02T16:17:20Z) - Weakly- and Semi-supervised Evidence Extraction [107.47661281843232]
本稿では,エビデンス抽出の課題に対して,いくつかのエビデンスアノテーションと豊富な文書レベルラベルを組み合わせた新たな手法を提案する。
私たちのアプローチは、数百のエビデンスアノテーションでかなりの利益をもたらします。
論文 参考訳(メタデータ) (2020-11-03T04:05:00Z) - Generating Fact Checking Summaries for Web Claims [8.980876474818153]
本稿では,テキスト文書の形での証拠に基づくテキストクレームの正当性を確立するために,ニューラルアテンションに基づくアプローチを提案する。
政治・医療・環境問題に関するデータセットに対するアプローチの有効性を示す。
論文 参考訳(メタデータ) (2020-10-16T18:10:47Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。