論文の概要: Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim
Identification in Unlabeled Data for Automated Fact-Checking
- arxiv url: http://arxiv.org/abs/2111.01706v1
- Date: Tue, 2 Nov 2021 16:17:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-03 12:40:33.774899
- Title: Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim
Identification in Unlabeled Data for Automated Fact-Checking
- Title（参考訳）: 自動ファクトチェックのためのラベルなしデータにおける内部信号を用いたクレーム識別の有効性評価
- Authors: Archita Pathak and Rohini K. Srihari
- Abstract要約: 本稿では,偽ニュース記事からチェック価値のあるクレーム文を特定する手法について検討する。
我々は2つの内部監督信号(見出しと抽象的な要約)を利用して文をランク付けする。
見出しは、ファクトチェックのWebサイトがクレームを記述する方法とよく似ているが、要約ベースのパイプラインは、エンドツーエンドのファクトチェックシステムにとって最も有望である。
- 参考スコア（独自算出の注目度）: 6.193231258199234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While recent work on automated fact-checking has focused mainly on verifying
and explaining claims, for which the list of claims is readily available,
identifying check-worthy claim sentences from a text remains challenging.
Current claim identification models rely on manual annotations for each
sentence in the text, which is an expensive task and challenging to conduct on
a frequent basis across multiple domains. This paper explores methodology to
identify check-worthy claim sentences from fake news articles, irrespective of
domain, without explicit sentence-level annotations. We leverage two internal
supervisory signals - headline and the abstractive summary - to rank the
sentences based on semantic similarity. We hypothesize that this ranking
directly correlates to the check-worthiness of the sentences. To assess the
effectiveness of this hypothesis, we build pipelines that leverage the ranking
of sentences based on either the headline or the abstractive summary. The
top-ranked sentences are used for the downstream fact-checking tasks of
evidence retrieval and the article's veracity prediction by the pipeline. Our
findings suggest that the top 3 ranked sentences contain enough information for
evidence-based fact-checking of a fake news article. We also show that while
the headline has more gisting similarity with how a fact-checking website
writes a claim, the summary-based pipeline is the most promising for an
end-to-end fact-checking system.
- Abstract（参考訳）: ファクトチェックの自動化に関する最近の研究は、クレームのリストが容易に入手できるクレームの検証と説明に重点を置いているが、テキストからチェックに値するクレーム文の識別は依然として困難である。
現在のクレーム識別モデルはテキストの各文のマニュアルアノテーションに依存しており、これは高価なタスクであり、複数のドメインにまたがる頻繁な実行を困難にしている。
本稿では,ドメインによらず,明示的な文レベルのアノテーションを使わずに,偽ニュース記事からチェック価値のあるクレーム文を特定する手法を検討する。
我々は2つの内部監督信号(見出しと抽象的な要約)を活用し、意味的類似性に基づいて文章をランク付けする。
このランキングは文のチェック性に直接関係していると仮定する。
この仮説の有効性を評価するために,見出しと抽象的要約に基づいて文のランク付けを利用するパイプラインを構築した。
上位ランクの文は、証拠検索の下流の事実チェックタスクと、パイプラインによる記事の正確性予測に使用される。
以上の結果から,上位3項目は偽ニュース記事の事実チェックに十分な情報を含んでいることが示唆された。
また、見出しはファクトチェックのウェブサイトがクレームを記述する方法と似ているが、要約ベースのパイプラインはエンドツーエンドのファクトチェックシステムにとって最も有望であることを示す。
関連論文リスト
- AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators [38.523194864405326]
AFaCTAは、事実主張のアノテーションを支援する新しいフレームワークである。
AFaCTAは、3つの事前定義された推論経路に沿って、アノテーションの信頼度を一貫性で調整する。
PoliClaimは、さまざまな政治的トピックにまたがる包括的なクレーム検出データセットである。
論文 参考訳（メタデータ） (2024-02-16T20:59:57Z) - Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - Interpretable Automatic Fine-grained Inconsistency Detection in Text
Summarization [56.94741578760294]
本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。
要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
論文 参考訳（メタデータ） (2023-05-23T22:11:47Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳（メタデータ） (2022-04-12T03:49:35Z) - DialFact: A Benchmark for Fact-Checking in Dialogue [56.63709206232572]
われわれはDialFactという22,245の注釈付き会話クレームのベンチマークデータセットを構築し、ウィキペディアの証拠と組み合わせた。
FEVERのような非対話データでトレーニングされた既存のファクトチェックモデルは、我々のタスクでうまく機能しないことがわかった。
本稿では,対話におけるファクトチェック性能を効果的に向上する,シンプルなデータ効率のソリューションを提案する。
論文 参考訳（メタデータ） (2021-10-15T17:34:35Z) - Assisting the Human Fact-Checkers: Detecting All Previously Fact-Checked
Claims in a Document [27.076320857009655]
入力文書が与えられた場合、以前に事実確認されたクレームによって検証可能なクレームを含むすべての文を検出することを目的としている。
出力は文書文の再ランクリストであり、検証可能なものは可能な限り高くランク付けされる。
本分析は,テキストの類似性やスタンスをモデル化することの重要性を実証すると同時に,検索した事実チェックされたクレームの正確性も考慮する。
論文 参考訳（メタデータ） (2021-09-14T13:46:52Z) - Self-Supervised Claim Identification for Automated Fact Checking [2.578242050187029]
フェイクニュース記事中の「価値ある」文を識別するための,注目に基づく新規な自己教師型アプローチを提案する。
我々は,この作業に注目するメカニズムを用いて,見出しと内容の「近さ」を活用する。
論文 参考訳（メタデータ） (2021-02-03T23:37:09Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。