論文の概要: Missci: Reconstructing Fallacies in Misrepresented Science
- arxiv url: http://arxiv.org/abs/2406.03181v1
- Date: Wed, 5 Jun 2024 12:11:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 18:40:12.649511
- Title: Missci: Reconstructing Fallacies in Misrepresented Science
- Title(参考訳): ミスシ:誤表現科学における誤認識の再構築
- Authors: Max Glockner, Yufang Hou, Preslav Nakov, Iryna Gurevych,
- Abstract要約: ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
- 参考スコア(独自算出の注目度): 84.32990746227385
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Health-related misinformation on social networks can lead to poor decision-making and real-world dangers. Such misinformation often misrepresents scientific publications and cites them as "proof" to gain perceived credibility. To effectively counter such claims automatically, a system must explain how the claim was falsely derived from the cited publication. Current methods for automated fact-checking or fallacy detection neglect to assess the (mis)used evidence in relation to misinformation claims, which is required to detect the mismatch between them. To address this gap, we introduce Missci, a novel argumentation theoretical model for fallacious reasoning together with a new dataset for real-world misinformation detection that misrepresents biomedical publications. Unlike previous fallacy detection datasets, Missci (i) focuses on implicit fallacies between the relevant content of the cited publication and the inaccurate claim, and (ii) requires models to verbalize the fallacious reasoning in addition to classifying it. We present Missci as a dataset to test the critical reasoning abilities of large language models (LLMs), that are required to reconstruct real-world fallacious arguments, in a zero-shot setting. We evaluate two representative LLMs and the impact of different levels of detail about the fallacy classes provided to the LLM via prompts. Our experiments and human evaluation show promising results for GPT 4, while also demonstrating the difficulty of this task.
- Abstract(参考訳): ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
このような誤報は科学的な出版物を誤って表現し、信頼を得るために「防備」として引用することが多い。
このような主張を効果的に対処するためには、システムは、その主張が引用された出版物から誤って引き出された方法を説明する必要がある。
自動事実確認や誤認検出の現在の手法は、誤報のクレームに関連する(誤報の)証拠を評価するために無視され、両者のミスマッチを検出するのに必要である。
このギャップに対処するために、バイオメディカル出版を誤って表現する現実世界の誤情報検出のための新しいデータセットとともに、誤った推論のための新しい議論理論モデルであるMissciを紹介した。
以前の誤検出データセット、Missciとは違って
一 引用公告の関連内容と不正確なクレームとの暗黙の誤認に焦点を当てて
(ii) 分類に加えて、誤用推論を言語化するモデルが必要である。
実世界の誤った議論をゼロショットで再構築するために必要な大規模言語モデル(LLM)の批判的推論能力をテストするデータセットとしてMissciを提示する。
本研究は,LLMの2つの代表的LLMと,LLMに提供された誤り度クラスについて,異なるレベルの詳細が与える影響を,プロンプトを通して評価する。
実験と人体評価は, GPT 4 の有望な結果を示すとともに, この課題の難しさも示している。
関連論文リスト
- Generative Debunking of Climate Misinformation [9.274656542624662]
この研究は、気候神話を入力として受け入れ、デバンキングを生み出す大きな言語モデルの開発を文書化している。
オープン (ミクサール, パーム2) とプロプライエタリ (GPT-4) の LLM を組み合わせ, 様々な複雑さの戦略を推し進める。
実験では、構造化プロンプトと組み合わせた場合、GPT-4とMixtralの有望な性能を示す。
高品質な真理サンドウィッチ・デバンキングのデータセット、ソースコード、およびデバンキングシステムのデモをリリースする。
論文 参考訳(メタデータ) (2024-07-08T04:21:58Z) - Large Language Models are Few-Shot Training Example Generators: A Case
Study in Fallacy Recognition [53.952381499149965]
計算誤認識は、さまざまなジャンル、ドメイン、データセットに見られる誤認識のタイプによって、課題に直面します。
我々は、追加の文脈を取り入れ、大規模な言語モデルを活用して合成データを生成することによって、誤認識のための既存のモデルを強化することを目指している。
評価結果は、誤検出タイプ、データセット、ジェネレータ間で一貫した改善を示す。
論文 参考訳(メタデータ) (2023-11-16T04:17:47Z) - A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。
本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
論文 参考訳(メタデータ) (2023-11-14T07:13:10Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳(メタデータ) (2023-10-22T16:07:06Z) - Reinforcement Learning-based Counter-Misinformation Response Generation:
A Case Study of COVID-19 Vaccine Misinformation [19.245814221211415]
非熟練の一般ユーザーは、偽情報に対して積極的に対応している。
本研究では、誤情報と反誤情報応答のペアの2つの新しいデータセットを作成する。
我々は,反情報応答を学習する強化学習に基づくフレームワークであるMisinfoCorrectを提案する。
論文 参考訳(メタデータ) (2023-03-11T15:55:01Z) - Mining Fine-grained Semantics via Graph Neural Networks for
Evidence-based Fake News Detection [20.282527436527765]
本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。
我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。
文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
論文 参考訳(メタデータ) (2022-01-18T11:28:36Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - Misinformation Has High Perplexity [55.47422012881148]
疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。
まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。
第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
論文 参考訳(メタデータ) (2020-06-08T15:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。