論文の概要: Generative Debunking of Climate Misinformation
- arxiv url: http://arxiv.org/abs/2407.05599v1
- Date: Mon, 8 Jul 2024 04:21:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-09 17:00:02.010023
- Title: Generative Debunking of Climate Misinformation
- Title(参考訳): 気候誤報の創出
- Authors: Francisco Zanartu, Yulia Otmakhova, John Cook, Lea Frermann,
- Abstract要約: この研究は、気候神話を入力として受け入れ、デバンキングを生み出す大きな言語モデルの開発を文書化している。
オープン (ミクサール, パーム2) とプロプライエタリ (GPT-4) の LLM を組み合わせ, 様々な複雑さの戦略を推し進める。
実験では、構造化プロンプトと組み合わせた場合、GPT-4とMixtralの有望な性能を示す。
高品質な真理サンドウィッチ・デバンキングのデータセット、ソースコード、およびデバンキングシステムのデモをリリースする。
- 参考スコア(独自算出の注目度): 9.274656542624662
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Misinformation about climate change causes numerous negative impacts, necessitating corrective responses. Psychological research has offered various strategies for reducing the influence of climate misinformation, such as the fact-myth-fallacy-fact-structure. However, practically implementing corrective interventions at scale represents a challenge. Automatic detection and correction of misinformation offers a solution to the misinformation problem. This study documents the development of large language models that accept as input a climate myth and produce a debunking that adheres to the fact-myth-fallacy-fact (``truth sandwich'') structure, by incorporating contrarian claim classification and fallacy detection into an LLM prompting framework. We combine open (Mixtral, Palm2) and proprietary (GPT-4) LLMs with prompting strategies of varying complexity. Experiments reveal promising performance of GPT-4 and Mixtral if combined with structured prompts. We identify specific challenges of debunking generation and human evaluation, and map out avenues for future work. We release a dataset of high-quality truth-sandwich debunkings, source code and a demo of the debunking system.
- Abstract(参考訳): 気候変動に関する誤報は、多くのネガティブな影響をもたらし、修正的な反応を必要とする。
心理学的研究は、ファクト・ミス・フォールシー・ファクト構造のような、気候の誤報の影響を減らすための様々な戦略を提供してきた。
しかし、大規模な修正介入を実際に実施することは課題である。
誤情報の自動検出と修正は、誤情報問題に対する解決策を提供する。
本研究は,気候神話の入力として受け入れられる大規模言語モデルの開発を,コントラスト的クレーム分類と誤検出をLLMプロンプトフレームワークに組み込むことにより,ファクト・ミス・ファクト(トゥルース・サンドイッチ')構造に固執するデバンキングを生成する。
オープン (ミクサール, パーム2) とプロプライエタリ (GPT-4) の LLM を組み合わせ, 様々な複雑さの戦略を推し進める。
実験では、構造化プロンプトと組み合わせた場合、GPT-4とMixtralの有望な性能を示す。
我々は,創出と人的評価の具体的な課題を特定し,今後の作業の道筋を図示する。
高品質な真理サンドウィッチ・デバンキングのデータセット、ソースコード、およびデバンキングシステムのデモをリリースする。
関連論文リスト
- Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳(メタデータ) (2024-10-07T00:09:50Z) - Missci: Reconstructing Fallacies in Misrepresented Science [84.32990746227385]
ソーシャルネットワーク上の健康関連の誤報は、意思決定の貧弱さと現実世界の危険につながる可能性がある。
ミスシは、誤った推論のための新しい議論理論モデルである。
大規模言語モデルの批判的推論能力をテストするためのデータセットとしてMissciを提案する。
論文 参考訳(メタデータ) (2024-06-05T12:11:10Z) - Unlearning Climate Misinformation in Large Language Models [17.95497650321137]
気候変動に関する誤報は、人類にとって最も深刻な脅威の1つに対処する上で、重要な障害となっている。
本稿では,気候情報に関する大規模言語モデル(LLM)の事実的精度について検討する。
論文 参考訳(メタデータ) (2024-05-29T23:11:53Z) - Detecting Fallacies in Climate Misinformation: A Technocognitive Approach to Identifying Misleading Argumentation [0.6496783221842394]
我々は、異なる種類の気候の誤報を誤報の推論にマッピングするデータセットを開発する。
このデータセットは、気候の誤報の誤報を検出するためにモデルをトレーニングするために使用される。
論文 参考訳(メタデータ) (2024-05-14T01:01:44Z) - The Future of Combating Rumors? Retrieval, Discrimination, and Generation [5.096418029931098]
人工知能生成コンテンツ(AIGC)技術開発は、誤情報による噂の作成を促進する。
現在の噂検出努力は、誤報を単にラベル付けするだけで不足している。
提案手法は,噂を検知するだけでなく,情報の有効性を否定する説明的コンテンツも提供する。
論文 参考訳(メタデータ) (2024-03-29T14:32:41Z) - A Glitch in the Matrix? Locating and Detecting Language Model Grounding with Fakepedia [57.31074448586854]
大規模言語モデル(LLM)は、そのコンテキストで提供される新しい情報を引き出すという印象的な能力を持つ。
しかし、この文脈的基盤のメカニズムはいまだに不明である。
本稿では,Fakepedia を用いたグラウンドディング能力の研究手法を提案する。
論文 参考訳(メタデータ) (2023-12-04T17:35:42Z) - Generating Literal and Implied Subquestions to Fact-check Complex Claims [64.81832149826035]
我々は、複雑なクレームを、そのクレームの正確性に影響を及ぼす「イエス・ノー・サブクエスト」の包括的集合に分解することに集中する。
我々は1000以上のクレームに対する分解のデータセットである ClaimDecomp を提示する。
これらのサブクエストは、関連する証拠を特定し、すべてのクレームを事実確認し、回答を通じて正確性を引き出すのに役立ちます。
論文 参考訳(メタデータ) (2022-05-14T00:40:57Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Misinformation Has High Perplexity [55.47422012881148]
疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。
まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。
第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
論文 参考訳(メタデータ) (2020-06-08T15:13:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。