論文の概要: Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence
- arxiv url: http://arxiv.org/abs/2305.18265v1
- Date: Mon, 29 May 2023 17:39:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2023-05-30 13:42:16.720592
- Title: Check-COVID: Fact-Checking COVID-19 News Claims with Scientific Evidence
- Title（参考訳）: 新型コロナウイルス(covid-19)の真偽を科学的な証拠で確認
- Authors: Gengyu Wang, Kate Harwood, Lawrence Chillrud, Amith Ananthram, Melanie
Subbiah, Kathleen McKeown
- Abstract要約: Check-COVIDには、専門家が記載した1,504件のニュース記事と、科学雑誌の記事や検証ラベルの文章レベルの証拠が組み合わさっている。
抽出された(ジャーナリストによる)クレームと合成された(注釈による)クレームの両方を含む。
- 参考スコア（独自算出の注目度）: 6.443863980834019
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new fact-checking benchmark, Check-COVID, that requires systems
to verify claims about COVID-19 from news using evidence from scientific
articles. This approach to fact-checking is particularly challenging as it
requires checking internet text written in everyday language against evidence
from journal articles written in formal academic language. Check-COVID contains
1, 504 expert-annotated news claims about the coronavirus paired with
sentence-level evidence from scientific journal articles and veracity labels.
It includes both extracted (journalist-written) and composed
(annotator-written) claims. Experiments using both a fact-checking specific
system and GPT-3.5, which respectively achieve F1 scores of 76.99 and 69.90 on
this task, reveal the difficulty of automatically fact-checking both claim
types and the importance of in-domain data for good performance. Our data and
models are released publicly at https://github.com/posuer/Check-COVID.
- Abstract（参考訳）: われわれは、科学論文の証拠を利用して、ニュースから新型コロナウイルスに関する主張を検証するための、新たなファクトチェックベンチマークであるCheck-COVIDを提示する。
事実チェックへのこのアプローチは、形式的な学術用語で書かれたジャーナル記事の証拠に対して、日常言語で書かれたインターネットテキストをチェックする必要があるため、特に難しい。
Check-COVIDには、専門家が記載した1,504件のニュース記事と、科学雑誌の記事や検証ラベルの文章レベルの証拠が組み合わさっている。
抽出された(ジャーナリストによる)クレームと合成された(注釈による)クレームの両方を含む。
このタスクでそれぞれF1スコア76.99と69.90を達成しているファクトチェック特定システムとGPT-3.5の両方を用いた実験は、クレームタイプとドメイン内のデータの重要性の両方を自動的にファクトチェックすることの難しさを明らかにしている。
データとモデルはhttps://github.com/posuer/check-covid.comで公開しています。
関連論文リスト
- Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
証拠は、自動化された事実チェックにおいて重要な役割を果たす。
既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。
資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
論文 参考訳（メタデータ） (2023-05-25T15:01:19Z) - SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim
Verification on Scientific Tables [68.76415918462418]
本報告では,1.2Kの専門的な科学的クレームからなる,挑戦的な評価データセットであるSCITABについて述べる。
広範な評価を通じて、SCITABは最先端のモデルに重大な課題をもたらすことを示した。
SCITABは,表の接地,主張のあいまいさ,構成的推論など,いくつかの独特な課題を明らかにした。
論文 参考訳（メタデータ） (2023-05-22T16:13:50Z) - Factify 2: A Multimodal Fake News and Satire News Dataset [36.34201719103715]
我々は、FACTIFY 2と呼ばれるマルチモーダルなファクトチェックデータセットを提供し、新しいデータソースを使用してFactify 1を改善し、風刺記事を追加する。
FACTIFY 1.0と同様に、私たちは3つの幅広いカテゴリ、すなわち、サポート、証拠なし、反響があり、視覚的およびテキスト的データの詳細に基づいたサブカテゴリがあります。
BERT と Vison Transformer ベースのベースラインも提供しています。
論文 参考訳（メタデータ） (2023-04-08T03:14:19Z) - Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation [67.69725605939315]
誤報は、信頼できる情報が限られている不確実な時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
論文 参考訳（メタデータ） (2022-10-25T09:40:48Z) - Generating Scientific Claims for Zero-Shot Scientific Fact Checking [54.62086027306609]
科学言語の複雑さと大量のトレーニングデータが不足しているため、自動科学的事実チェックは困難である。
科学的な文から1つ以上の原子的かつ検証可能なクレームを生成するための科学的クレーム生成を提案する。
また, バイオメディカルクレームのゼロショット事実チェックにも有用であることを示す。
論文 参考訳（メタデータ） (2022-03-24T11:29:20Z) - Assessing Effectiveness of Using Internal Signals for Check-Worthy Claim
Identification in Unlabeled Data for Automated Fact-Checking [6.193231258199234]
本稿では,偽ニュース記事からチェック価値のあるクレーム文を特定する手法について検討する。
我々は2つの内部監督信号(見出しと抽象的な要約)を利用して文をランク付けする。
見出しは、ファクトチェックのWebサイトがクレームを記述する方法とよく似ているが、要約ベースのパイプラインは、エンドツーエンドのファクトチェックシステムにとって最も有望である。
論文 参考訳（メタデータ） (2021-11-02T16:17:20Z) - FakeCovid -- A Multilingual Cross-domain Fact Check News Dataset for
COVID-19 [0.0]
COVID-19に関する5182のファクトチェックされたニュース記事の最初の多言語クロスドメインデータセットを提示する。
我々は、PynterとSnopesから参照を得た後、92の異なるファクトチェックサイトからファクトチェックした記事を収集した。
データセットは105カ国から40言語で提供されている。
論文 参考訳（メタデータ） (2020-06-19T19:48:00Z) - Misinformation Has High Perplexity [55.47422012881148]
疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。
まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。
第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
論文 参考訳（メタデータ） (2020-06-08T15:13:44Z) - Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。
SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。
このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
論文 参考訳（メタデータ） (2020-04-30T17:22:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。