論文の概要: Grounding Fallacies Misrepresenting Scientific Publications in Evidence
- arxiv url: http://arxiv.org/abs/2408.12812v2
- Date: Fri, 07 Feb 2025 08:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-10 14:53:53.546701
- Title: Grounding Fallacies Misrepresenting Scientific Publications in Evidence
- Title（参考訳）: エビデンスにおける科学出版の誤解
- Authors: Max Glockner, Yufang Hou, Preslav Nakov, Iryna Gurevych,
- Abstract要約: 誤検出データセットMisciの拡張であるMisciPlusを紹介する。
MissciPlusは、実世界の誤った証拠と誤った主張を組み合わせ、証拠に基づく事実チェックモデルへの入力と同一である。
以上の結果から,現在の事実チェックモデルでは,誤報を否定するために,誤表現された科学パスを使用するのが困難であることが示唆された。
- 参考スコア（独自算出の注目度）: 84.32990746227385
- License:
- Abstract: Health-related misinformation claims often falsely cite a credible biomedical publication as evidence. These publications only superficially seem to support the false claim, when logical fallacies are applied. In this work, we aim to detect and to highlight such fallacies, which requires assessing the exact content of the misrepresented publications. To achieve this, we introduce MissciPlus, an extension of the fallacy detection dataset Missci. MissciPlus extends Missci by grounding the applied fallacies in real-world passages from misrepresented studies. This creates a realistic test-bed for detecting and verbalizing fallacies under real-world input conditions, and enables new and realistic passage-retrieval tasks. MissciPlus is the first logical fallacy dataset which pairs the real-world misrepresented evidence with incorrect claims, identical to the input to evidence-based fact-checking models. With MissciPlus, we i) benchmark retrieval models in identifying passages that support claims only with fallacious reasoning, ii) evaluate how well LLMs verbalize fallacious reasoning based on misrepresented scientific passages, and iii) assess the effectiveness of fact-checking models in refuting claims that misrepresent biomedical research. Our findings show that current fact-checking models struggle to use misrepresented scientific passages to refute misinformation. Moreover, these passages can mislead LLMs into accepting false claims as true.
- Abstract（参考訳）: 健康関連の誤報は、しばしば証拠として信用できる生物医学の出版を誤って引用する。
これらの出版物は、論理的誤認が適用されるときのみ、虚偽の主張を支持するようにみえる。
本研究は,誤読された出版物の正確な内容を評価することが必要な誤読を検知し,強調することを目的とする。
そこで本研究では,誤検出データセットMissciの拡張であるMissciPlusを紹介する。
MissciPlusはMisciを拡張し、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。
これにより、現実的な入力条件下での誤字の検出と言語化のための現実的なテストベッドが作成され、新しい現実的なパス検索タスクが実現される。
MissciPlusは、現実世界の誤表現された証拠と誤ったクレームをペアリングする最初の論理的誤認データセットである。
MissciPlus, We
一 虚偽の推論のみでクレームを支持する通路を特定するためのベンチマーク検索モデル
二 誤記された科学的通路に基づいて、LLMが誤用推論をいかにうまく弁別するかを評価すること。
三 バイオメディカル研究の誤りを訴える主張において、事実確認モデルの有効性を評価すること。
以上の結果から,現在の事実チェックモデルでは,誤報を否定するために,誤表現された科学パスを使用するのが困難であることが示唆された。
さらに、これらの節はLLMを誤認して偽の主張を真として受け入れる。
関連論文リスト
- Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳（メタデータ） (2024-06-05T12:11:10Z) - Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for
Misinformation [67.69725605939315]
誤報は、信頼できる情報が限られている不確実な時に現れる。
NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
論文 参考訳（メタデータ） (2022-10-25T09:40:48Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳（メタデータ） (2022-05-14T00:40:57Z) - Automatic Fake News Detection: Are Models Learning to Reason? [9.143551270841858]
クレームと証拠の両方の関係と重要性を調査します。
驚くべきことに、政治的事実チェックデータセットでは、最も頻繁に最も有効性が高いことが証拠のみを利用して得られます。
これは、既存のフェイクニュース検出手法における証拠を構成する重要な問題である。
論文 参考訳（メタデータ） (2021-05-17T09:34:03Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳（メタデータ） (2021-04-01T17:40:08Z) - Misinformation Has High Perplexity [55.47422012881148]
疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。
まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。
第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
論文 参考訳（メタデータ） (2020-06-08T15:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。