論文の概要: Missci: Reconstructing Fallacies in Misrepresented Science

• arxiv url: http://arxiv.org/abs/2406.03181v1
• Date: Wed, 5 Jun 2024 12:11:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 18:40:12.649511
• Title: Missci: Reconstructing Fallacies in Misrepresented Science
• Title（参考訳）: ミスシ:誤表現科学における誤認識の再構築
• Authors: Max Glockner, Yufang Hou, Preslav Nakov, Iryna Gurevych,
• Abstract要約: ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 ミスシは、誤った推論のための新しい議論理論モデルである。 大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
• 参考スコア（独自算出の注目度）: 84.32990746227385
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Health-related misinformation on social networks can lead to poor decision-making and real-world dangers. Such misinformation often misrepresents scientific publications and cites them as "proof" to gain perceived credibility. To effectively counter such claims automatically, a system must explain how the claim was falsely derived from the cited publication. Current methods for automated fact-checking or fallacy detection neglect to assess the (mis)used evidence in relation to misinformation claims, which is required to detect the mismatch between them. To address this gap, we introduce Missci, a novel argumentation theoretical model for fallacious reasoning together with a new dataset for real-world misinformation detection that misrepresents biomedical publications. Unlike previous fallacy detection datasets, Missci (i) focuses on implicit fallacies between the relevant content of the cited publication and the inaccurate claim, and (ii) requires models to verbalize the fallacious reasoning in addition to classifying it. We present Missci as a dataset to test the critical reasoning abilities of large language models (LLMs), that are required to reconstruct real-world fallacious arguments, in a zero-shot setting. We evaluate two representative LLMs and the impact of different levels of detail about the fallacy classes provided to the LLM via prompts. Our experiments and human evaluation show promising results for GPT 4, while also demonstrating the difficulty of this task.
• Abstract（参考訳）: ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。 このような誤報は科学的な出版物を誤って表現し、信頼を得るために「防備」として引用することが多い。 このような主張を効果的に対処するためには、システムは、その主張が引用された出版物から誤って引き出された方法を説明する必要がある。 自動事実確認や誤認検出の現在の手法は、誤報のクレームに関連する(誤報の)証拠を評価するために無視され、両者のミスマッチを検出するのに必要である。 このギャップに対処するために、バイオメディカル出版を誤って表現する現実世界の誤情報検出のための新しいデータセットとともに、誤った推論のための新しい議論理論モデルであるMissciを紹介した。 以前の誤検出データセット、Missciとは違って 一 引用公告の関連内容と不正確なクレームとの暗黙の誤認に焦点を当てて (ii) 分類に加えて、誤用推論を言語化するモデルが必要である。 実世界の誤った議論をゼロショットで再構築するために必要な大規模言語モデル(LLM)の批判的推論能力をテストするデータセットとしてMissciを提示する。 本研究は,LLMの2つの代表的LLMと,LLMに提供された誤り度クラスについて,異なるレベルの詳細が与える影響を,プロンプトを通して評価する。 実験と人体評価は, GPT 4 の有望な結果を示すとともに, この課題の難しさも示している。

関連論文リスト

• Grounding Fallacies Misrepresenting Scientific Publications in Evidence [84.32990746227385]
  誤検出データセットMisciの拡張であるMisciPlusを紹介する。 MissciPlusはMissci上に構築されており、誤表現された研究から現実世界の通路で適用された誤報を根拠にしている。 MissciPlusは、現実世界の誤った証拠と誤った主張を組み合わせた最初の論理的誤認データセットである。
  論文  参考訳（メタデータ） (2024-08-23T03:16:26Z)
• Large Language Models are Few-Shot Training Example Generators: A Case Study in Fallacy Recognition [49.38757847011105]
  計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。 我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。 評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
  論文  参考訳（メタデータ） (2023-11-16T04:17:47Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Reinforcement Learning-based Counter-Misinformation Response Generation: A Case Study of COVID-19 Vaccine Misinformation [19.245814221211415]
  非熟練の一般ユーザーは、偽情報に対して積極的に対応している。 本研究では、誤情報と反誤情報応答のペアの2つの新しいデータセットを作成する。 我々は,反情報応答を学習する強化学習に基づくフレームワークであるMisinfoCorrectを提案する。
  論文  参考訳（メタデータ） (2023-03-11T15:55:01Z)
• Mining Fine-grained Semantics via Graph Neural Networks for Evidence-based Fake News Detection [20.282527436527765]
  本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。 我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。 文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
  論文  参考訳（メタデータ） (2022-01-18T11:28:36Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Misinformation Has High Perplexity [55.47422012881148]
  疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。 まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。 第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
  論文  参考訳（メタデータ） (2020-06-08T15:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。