論文の概要: FACTors: A New Dataset for Studying the Fact-checking Ecosystem
- arxiv url: http://arxiv.org/abs/2505.09414v1
- Date: Wed, 14 May 2025 14:10:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.487215
- Title: FACTors: A New Dataset for Studying the Fact-checking Ecosystem
- Title(参考訳): FACTors: Fact-checking Ecosystemの研究のための新しいデータセット
- Authors: Enes Altuncu, Can Başkent, Sanjay Bhattacherjee, Shujun Li, Dwaipayan Roy,
- Abstract要約: エコシステムレベルでのファクトチェックデータセットは存在せず、十分に長い期間のクレームをカバーしています。
我々は、ファクトチェックに関するエコシステムレベルのデータを提示することで、このギャップを埋める新しいデータセットFACTorsを提案する。
FACTorの構築方法は汎用的であり、動的に更新可能なライブデータセットの維持に使用できる。
- 参考スコア(独自算出の注目度): 2.994926985221349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Our fight against false information is spearheaded by fact-checkers. They investigate the veracity of claims and document their findings as fact-checking reports. With the rapid increase in the amount of false information circulating online, the use of automation in fact-checking processes aims to strengthen this ecosystem by enhancing scalability. Datasets containing fact-checked claims play a key role in developing such automated solutions. However, to the best of our knowledge, there is no fact-checking dataset at the ecosystem level, covering claims from a sufficiently long period of time and sourced from a wide range of actors reflecting the entire ecosystem that admittedly follows widely-accepted codes and principles of fact-checking. We present a new dataset FACTors, the first to fill this gap by presenting ecosystem-level data on fact-checking. It contains 118,112 claims from 117,993 fact-checking reports in English (co-)authored by 1,953 individuals and published during the period of 1995-2025 by 39 fact-checking organisations that are active signatories of the IFCN (International Fact-Checking Network) and/or EFCSN (European Fact-Checking Standards Network). It contains 7,327 overlapping claims investigated by multiple fact-checking organisations, corresponding to 2,977 unique claims. It allows to conduct new ecosystem-level studies of the fact-checkers (organisations and individuals). To demonstrate the usefulness of FACTors, we present three example applications, including a first-of-its-kind statistical analysis of the fact-checking ecosystem, examining the political inclinations of the fact-checking organisations, and attempting to assign a credibility score to each organisation based on the findings of the statistical analysis and political leanings. Our methods for constructing FACTors are generic and can be used to maintain a live dataset that can be updated dynamically.
- Abstract(参考訳): 偽情報に対する私たちの戦いは、ファクトチェッカーによって先導されています。
彼らはクレームの正確性を調査し、その結果を事実確認レポートとして記録した。
オンラインで流通する偽情報の量が急速に増加する中、ファクトチェックプロセスにおける自動化の使用は、スケーラビリティを向上させることで、このエコシステムを強化することを目的としている。
ファクトチェックされたクレームを含むデータセットは、このような自動化ソリューションの開発において重要な役割を果たす。
しかしながら、私たちの知る限りでは、ファクトチェックデータセットはエコシステムレベルでは存在せず、十分に長い期間の主張をカバーし、広く受け入れられているコードやファクトチェックの原則に従っているエコシステム全体を反映する幅広いアクターから得られたものです。
我々は、ファクトチェックに関するエコシステムレベルのデータを提示することで、このギャップを埋める新しいデータセットFACTorsを提案する。
IFCN (International Fact-Checking Network) や EFCSN (European Fact-Checking Standards Network) のアクティブな署名者である39のファクトチェック組織によって1995-2025年に発行された。
複数のファクトチェック機関が調査した、7,327件の重複するクレームが含まれており、これは2977件のユニークなクレームに対応している。
これは、ファクトチェッカー(組織と個人)のエコシステムレベルでの新しい研究を可能にする。
FACTorsの有用性を示すために、ファクトチェックのエコシステムを統計的に分析し、ファクトチェックの組織の政治的傾向を調べ、統計分析と政治的傾向の知見に基づいて、各組織に信頼性スコアを割り当てようとする3つの例を挙げる。
FACTorの構築方法は汎用的であり、動的に更新可能なライブデータセットの維持に使用できる。
関連論文リスト
- Task-Oriented Automatic Fact-Checking with Frame-Semantics [0.8135825089247968]
大規模構造化データに注釈を付けたPoitiFactから抽出した実世界のクレームのパイロットデータセットを紹介する。
このデータセットは、Voteセマンティックフレームを用いた投票関連クレームの調査と、経済協力開発機構(Organization for Economic Co-operation and Development)のデータソースに基づくさまざまなセマンティックフレームの探索という2つのケーススタディを基盤としている。
本研究は, ファクトチェックにおけるエビデンス検索と説明可能性の向上に, フレームセマンティクスの有効性を示すものである。
論文 参考訳(メタデータ) (2025-01-23T00:26:09Z) - Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation [67.69725605939315]
誤報は、信頼できる情報が限られている不確実な時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
論文 参考訳(メタデータ) (2022-10-25T09:40:48Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳(メタデータ) (2022-06-06T09:11:03Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳(メタデータ) (2022-02-18T19:01:01Z) - FacTeR-Check: Semi-automated fact-checking through Semantic Similarity
and Natural Language Inference [61.068947982746224]
FacTeR-Checkは、ファクトチェックされた情報の検索、未確認のクレームの検証、ソーシャルメディア上での危険な情報の追跡を可能にする。
このアーキテクチャは、NLI19-SPと呼ばれる新しいデータセットを使って検証されている。
この結果から,各ベンチマークにおける最先端性能と,61種類のホアックスの時間経過に伴う進化の有用な解析結果が得られた。
論文 参考訳(メタデータ) (2021-10-27T15:44:54Z) - Automated Fact-Checking: A Survey [5.729426778193398]
自然言語処理(NLP)の分野の研究者は、ファクトチェックデータセットを構築することで、このタスクに貢献している。
本稿では,クレーム検出とクレーム検証の両方を対象とする自動ファクトチェックについて検討する。
論文 参考訳(メタデータ) (2021-09-23T15:13:48Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。