論文の概要: ClaimDiff: Comparing and Contrasting Claims on Contentious Issues
- arxiv url: http://arxiv.org/abs/2205.12221v2
- Date: Sun, 11 Jun 2023 05:30:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-14 02:58:59.321579
- Title: ClaimDiff: Comparing and Contrasting Claims on Contentious Issues
- Title(参考訳): ClaimDiff: 論争的な問題に関する主張の比較と対比
- Authors: Miyoung Ko, Ingyu Seong, Hwaran Lee, Joonsuk Park, Minsuk Chang,
Minjoon Seo
- Abstract要約: ClaimDiffは、主にクレームペア間のニュアンスの比較に焦点を当てたデータセットである。
268のニュース記事から2,941の注釈付きクレームペアを提供する。
人間はクレーム間のニュアンスを検出することができるが、強いベースラインはそれらを検出するのに苦労している。
- 参考スコア(独自算出の注目度): 23.260333361646495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the growing importance of detecting misinformation, many studies have
focused on verifying factual claims by retrieving evidence. However, canonical
fact verification tasks do not apply to catching subtle differences in
factually consistent claims, which might still bias the readers, especially on
contentious political or economic issues. Our underlying assumption is that
among the trusted sources, one's argument is not necessarily more true than the
other, requiring comparison rather than verification. In this study, we propose
ClaimDiff, a novel dataset that primarily focuses on comparing the nuance
between claim pairs. In ClaimDiff, we provide 2,941 annotated claim pairs from
268 news articles. We observe that while humans are capable of detecting the
nuances between claims, strong baselines struggle to detect them, showing over
a 19% absolute gap with the humans. We hope this initial study could help
readers to gain an unbiased grasp of contentious issues through machine-aided
comparison.
- Abstract(参考訳): 誤情報の検知の重要性が高まる中、多くの研究は証拠を検索することで事実の主張を検証することに注力している。
しかし、正準事実検証タスクは、事実に一貫性のある主張における微妙な違いを捉えることには適用されない。
我々の根底にある前提は、信頼できる情報源の中で、その議論は必ずしも他方よりも真ではなく、検証よりも比較を必要とするということである。
本研究では,クレームペア間のニュアンスを比較することを中心に,新たなデータセットであるクレームディファクトを提案する。
ClaimDiffでは、268のニュース記事から2,941の注釈付きクレームペアを提供する。
人間はクレーム間のニュアンスを検出することができるが、強いベースラインはそれらを検出するのに苦労し、人間と19%以上の絶対的なギャップを示す。
この最初の研究は、機械学習による比較を通じて、読者が議論の余地のない問題を把握するのに役立つことを期待している。
関連論文リスト
- Grounding Fallacies Misrepresenting Scientific Publications in Evidence [84.32990746227385]
誤検出データセットMisciの拡張であるMisciPlusを紹介する。
MissciPlusはMissci上に構築されており、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。
MissciPlusは、現実世界の誤った証拠と誤った主張を組み合わせた最初の論理的誤認データセットである。
論文 参考訳(メタデータ) (2024-08-23T03:16:26Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:11:10Z) - What Makes Medical Claims (Un)Verifiable? Analyzing Entity and Relation
Properties for Fact Verification [8.086400003948143]
BEAR-Factコーパス(BEAR-Fact corpus)は、科学的事実検証のための最初のコーパスである。
クレームテキストから純粋に証拠検索の成功を確実に推定できることを示す。
データセットはhttp://www.ims.uni-stuttgart.de/data/bioclaimで公開されている。
論文 参考訳(メタデータ) (2024-02-02T12:27:58Z) - Leveraging Social Discourse to Measure Check-worthiness of Claims for
Fact-checking [36.21314290592325]
CheckItは、手動でアノテートされた大規模なTwitterデータセットで、きめ細かいクレームチェックの安全性を提供する。
私たちは、クレームがチェックに値するかどうかを共同で判断する統一的なアプローチであるCheckMateに対して、データセットをベンチマークします。
論文 参考訳(メタデータ) (2023-09-17T13:42:41Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳(メタデータ) (2022-05-14T00:40:57Z) - Robust Information Retrieval for False Claims with Distracting Entities
In Fact Extraction and Verification [2.624734563929267]
本論文は, 真理クレームと比較して, 証拠検索モデルに注意をそらすような無関係な実体を, 虚偽クレームの方が頻繁に含んでいることを示す。
BERTベースの検索モデルは、本当の主張の証拠を支持することよりも、虚偽の主張に対する反論の証拠を回収することに間違いを犯した。
論文 参考訳(メタデータ) (2021-12-10T17:11:50Z) - Topic-Aware Evidence Reasoning and Stance-Aware Aggregation for Fact
Verification [19.130541561303293]
本稿では,事実検証のための新たな話題認識型証拠推論とスタンス認識型アグリゲーションモデルを提案する。
2つのベンチマークデータセットで実施されたテストは、事実検証のためのいくつかの最先端アプローチよりも提案モデルの方が優れていることを示す。
論文 参考訳(メタデータ) (2021-06-02T14:33:12Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - Misinformation Has High Perplexity [55.47422012881148]
疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。
まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。
第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
論文 参考訳(メタデータ) (2020-06-08T15:13:44Z) - Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。
これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。
我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
論文 参考訳(メタデータ) (2020-03-05T16:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。