論文の概要: Grounding Fallacies Misrepresenting Scientific Publications in Evidence

• arxiv url: http://arxiv.org/abs/2408.12812v1
• Date: Fri, 23 Aug 2024 03:16:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 16:09:18.586950
• Title: Grounding Fallacies Misrepresenting Scientific Publications in Evidence
• Title（参考訳）: エビデンスにおける科学出版の誤解
• Authors: Max Glockner, Yufang Hou, Preslav Nakov, Iryna Gurevych,
• Abstract要約: 誤検出データセットMisciの拡張であるMisciPlusを紹介する。 MissciPlusはMissci上に構築されており、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。 MissciPlusは、現実世界の誤った証拠と誤った主張を組み合わせた最初の論理的誤認データセットである。
• 参考スコア（独自算出の注目度）: 84.32990746227385
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Health-related misinformation claims often falsely cite a credible biomedical publication as evidence, which superficially appears to support the false claim. The publication does not really support the claim, but a reader could believe it thanks to the use of logical fallacies. Here, we aim to detect and to highlight such fallacies, which requires carefully assessing the exact content of the misrepresented publications. To achieve this, we introduce MissciPlus, an extension of the fallacy detection dataset Missci. MissciPlus builds on Missci by grounding the applied fallacies in real-world passages from misrepresented studies. This creates a realistic test-bed for detecting and verbalizing these fallacies under real-world input conditions, and enables novel passage-retrieval tasks. MissciPlus is the first logical fallacy dataset which pairs the real-world misrepresented evidence with incorrect claims, identical to the input to evidence-based fact-checking models. With MissciPlus, we i) benchmark retrieval models in identifying passages that support claims only when fallacies are applied, ii) evaluate how well LLMs articulate fallacious reasoning from misrepresented scientific passages, and iii) assess the effectiveness of fact-checking models in refuting claims that misrepresent biomedical research. Our findings show that current fact-checking models struggle to use relevant passages from misrepresented publications to refute misinformation. Moreover, these passages can mislead LLMs into accepting false claims as true.
• Abstract（参考訳）: 健康関連の誤報の主張は、しばしば信用できる生物医学的な出版物を証拠として引用するが、これは虚偽の主張を表面的に支持しているように見える。 この出版物は実際にはこの主張を支持していないが、読者は論理的な誤信によってそれを信じることができる。 ここでは、誤読された出版物の正確な内容を慎重に評価する必要があるような誤読を検知し、強調することを目的としている。 そこで本研究では,誤検出データセットMissciの拡張であるMissciPlusを紹介する。 MissciPlusはMissci上に構築されており、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。 これにより、現実の入力条件下でこれらの誤字を検出し、言語化する現実的なテストベッドが作成され、新しいパス検索タスクが実現される。 MissciPlusは、現実世界の誤表現された証拠と誤ったクレームをペアリングする最初の論理的誤認データセットである。 MissciPlus, We 一 誤認が生じた場合に限る。 二 誤記された科学的通路からの誤用理由をLLMが如何に明瞭に表すかを評価すること。 三 バイオメディカル研究の誤りを訴える主張において、事実確認モデルの有効性を評価すること。 以上の結果から,現在の事実チェックモデルでは,誤報を否定するために,誤記された出版物からの関連資料の活用が困難であることが示唆された。 さらに、これらの節はLLMを誤認して偽の主張を真として受け入れる。

関連論文リスト

• Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
  ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:11:10Z)
• Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation [67.69725605939315]
  誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
  論文  参考訳（メタデータ） (2022-10-25T09:40:48Z)
• Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
  我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。 我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。 これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
  論文  参考訳（メタデータ） (2022-05-14T00:40:57Z)
• Automatic Fake News Detection: Are Models Learning to Reason? [9.143551270841858]
  クレームと証拠の両方の関係と重要性を調査します。 驚くべきことに、政治的事実チェックデータセットでは、最も頻繁に最も有効性が高いことが証拠のみを利用して得られます。 これは、既存のフェイクニュース検出手法における証拠を構成する重要な問題である。
  論文  参考訳（メタデータ） (2021-05-17T09:34:03Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Misinformation Has High Perplexity [55.47422012881148]
  疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。 まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。 第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
  論文  参考訳（メタデータ） (2020-06-08T15:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。