論文の概要: CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media
- arxiv url: http://arxiv.org/abs/2210.04447v1
- Date: Mon, 10 Oct 2022 06:05:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 15:41:57.911310
- Title: CrowdChecked: Detecting Previously Fact-Checked Claims in Social Media
- Title(参考訳): CrowdChecked: ソーシャルメディアにおけるFact-Checked主張の検出
- Authors: Momchil Hardalov, Anton Chernyavskiy, Ivan Koychev, Dmitry Ilvovsky,
Preslav Nakov
- Abstract要約: 修正された自己適応学習に基づいてノイズの多いデータから学習するエンド・ツー・エンドのフレームワークを提案する。
CLEF'21 CheckThat!テストセットの実験では,2点の絶対値による技術状況の改善が示されている。
- 参考スコア(独自算出の注目度): 19.688259030184508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While there has been substantial progress in developing systems to automate
fact-checking, they still lack credibility in the eyes of the users. Thus, an
interesting approach has emerged: to perform automatic fact-checking by
verifying whether an input claim has been previously fact-checked by
professional fact-checkers and to return back an article that explains their
decision. This is a sensible approach as people trust manual fact-checking, and
as many claims are repeated multiple times. Yet, a major issue when building
such systems is the small number of known tweet--verifying article pairs
available for training. Here, we aim to bridge this gap by making use of crowd
fact-checking, i.e., mining claims in social media for which users have
responded with a link to a fact-checking article. In particular, we mine a
large-scale collection of 330,000 tweets paired with a corresponding
fact-checking article. We further propose an end-to-end framework to learn from
this noisy data based on modified self-adaptive training, in a distant
supervision scenario. Our experiments on the CLEF'21 CheckThat! test set show
improvements over the state of the art by two points absolute. Our code and
datasets are available at https://github.com/mhardalov/crowdchecked-claims
- Abstract(参考訳): ファクトチェックを自動化するシステムの開発には相当な進歩があったが、ユーザの目にはまだ信頼性が欠けている。
このように、入力クレームが以前プロのファクトチェッカーによってファクトチェックされたかどうかを検証し、その決定を説明する記事を返却することで、自動ファクトチェックを行うという興味深いアプローチが出現した。
これは、手動の事実チェックを信頼する人々にとって賢明なアプローチであり、多くのクレームが何度も繰り返されている。
しかし、このようなシステムを構築する際の大きな問題は、トレーニングで利用可能な、つぶやきを検証できる記事ペアの数が少ないことだ。
ここでは,このギャップを,利用者がファクトチェック記事へのリンクで回答したソーシャルメディアのマイニングクレームを利用して埋めることを目的としている。
特に、大規模な330,000ツイートと、それに対応するファクトチェック記事のペアをマイニングします。
さらに, 遠隔監視シナリオにおいて, 修正自己適応訓練に基づいて, この雑音データから学習するためのエンドツーエンドフレームワークを提案する。
CLEF'21 CheckThat!テストセットの実験では,2点の絶対値による技術状況の改善が示されている。
私たちのコードとデータセットはhttps://github.com/mhardalov/crowdchecked-claimsで利用可能です。
関連論文リスト
- Crowd Intelligence for Early Misinformation Prediction on Social Media [29.494819549803772]
本稿では,クラウドインテリジェンスに基づく早期誤報予測手法であるCROWDSHIELDを紹介する。
私たちは2つの次元(スタンスとクレーム)を捉えるためにQラーニングを採用しています。
我々は手動で誤情報検出を行うTwitterコーパスであるMISTを提案する。
論文 参考訳(メタデータ) (2024-08-08T13:45:23Z) - OpenFactCheck: A Unified Framework for Factuality Evaluation of LLMs [64.25176233153657]
OpenFactCheckは、大規模な言語モデルのためのオープンソースのファクトチェックフレームワークである。
ユーザーは自動的にファクトチェックシステムを簡単にカスタマイズできる。
また、そのシステムを用いて、入力文書におけるすべてのクレームの事実性を評価する。
論文 参考訳(メタデータ) (2024-08-06T15:49:58Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳(メタデータ) (2024-03-27T15:15:14Z) - MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through
Multi-Answer Open-Domain Question Answering [8.70509665552136]
チェック価値のあるクレーム検出は、下流のファクトチェックシステムや、チェックする人間の専門家に、もっともらしい誤情報を提供することを目的としている。
しかし、Twitterのような大規模情報ソースから直接、チェック価値のあるクレームを効率的に検出する方法は、まだ解明されていない。
我々は、クエリベースの大規模チェックアワークレーム検出のための矛盾するスタンスマイニングを含む、複数回答のオープンドメイン質問応答(QA)タスクであるMythQAを紹介する。
論文 参考訳(メタデータ) (2023-07-21T18:35:24Z) - Harnessing Abstractive Summarization for Fact-Checked Claim Detection [8.49182897482236]
ソーシャルメディアプラットフォームは、反社会的要素の新たな戦場となり、誤った情報が選択の武器となっている。
この解決策は、ファクトチェックのライフサイクルを部分的に自動化し、高い認知を必要とするタスクに人間の時間を節約することにある、と私たちは信じています。
本稿では,抽象的な要約を用いたクェリを効率的に検出し,クェリを生成するワークフローを提案する。
論文 参考訳(メタデータ) (2022-09-10T07:32:36Z) - Synthetic Disinformation Attacks on Automated Fact Verification Systems [53.011635547834025]
本研究では,2つのシミュレーション環境において,自動ファクトチェッカーの合成正反対証拠に対する感度について検討する。
これらのシステムでは,これらの攻撃に対して大幅な性能低下がみられた。
偽情報の発生源としての現代のNLGシステムの脅威の増大について論じる。
論文 参考訳(メタデータ) (2022-02-18T19:01:01Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Generating Fact Checking Briefs [97.82546239639964]
本研究では, 事実確認の精度と効率を高めるために, 事実確認を行う前に, クレームに関する情報を提供することにより, 事実確認の精度と効率を高める方法について検討する。
我々は,クレームに条件付き質問セットを生成し,証拠を検索し,回答を生成するモデルQABrieferを開発した。
本研究では,特にQABriefsにおけるブリーフィングによる事実チェックによって,クラウドワーカーの精度が10%向上すると同時に,時間もわずかに低下することを示す。
論文 参考訳(メタデータ) (2020-11-10T23:02:47Z) - Team Alex at CLEF CheckThat! 2020: Identifying Check-Worthy Tweets With
Transformer Models [28.25006244616817]
本稿では、深い文脈のテキスト表現と、そのツイートの社会的文脈をモデル化した、新型コロナウイルスに関するチェックアワーなツイートを検出するモデルを提案する。
CLEF-2020 CheckThat! Task 1 System Team_AlexはMAPスコア0.8034で2位にランクされた。
論文 参考訳(メタデータ) (2020-09-07T08:03:21Z) - That is a Known Lie: Detecting Previously Fact-Checked Claims [34.30218503006579]
多数の事実確認済みのクレームが蓄積されている。
政治家は、自分の好きな言葉、真実か偽かを繰り返し繰り返すのが好きだ。
この努力を節約し、すでに事実確認済みのクレームの無駄な時間を省くことが重要です。
論文 参考訳(メタデータ) (2020-05-12T21:25:37Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳(メタデータ) (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。