論文の概要: Can Large Language Models Detect Misinformation in Scientific News Reporting?

• arxiv url: http://arxiv.org/abs/2402.14268v1
• Date: Thu, 22 Feb 2024 04:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 16:34:25.588369
• Title: Can Large Language Models Detect Misinformation in Scientific News Reporting?
• Title（参考訳）: 大規模言語モデルは科学ニュースにおける誤報を検出することができるか?
• Authors: Yupeng Cao, Aishwarya Muralidharan Nair, Elyon Eyimife, Nastaran Jamalipour Soofi, K.P. Subbalakshmi, John R. Wullert II, Chumki Basu, David Shallcross
• Abstract要約: 本稿では,科学的報告における誤情報の検出に大規模言語モデル(LLM)を用いることが可能であるかを検討する。 最初にラベル付きデータセットSciNewsを提示し、信頼できない情報源から抜粋された2.4万の科学ニュース記事を含む。 科学ニュース記事の科学的妥当性の次元を識別し、科学的誤報の自動検出にどのように組み込むかを検討する。
• 参考スコア（独自算出の注目度）: 1.0344642971058586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific facts are often spun in the popular press with the intent to influence public opinion and action, as was evidenced during the COVID-19 pandemic. Automatic detection of misinformation in the scientific domain is challenging because of the distinct styles of writing in these two media types and is still in its nascence. Most research on the validity of scientific reporting treats this problem as a claim verification challenge. In doing so, significant expert human effort is required to generate appropriate claims. Our solution bypasses this step and addresses a more real-world scenario where such explicit, labeled claims may not be available. The central research question of this paper is whether it is possible to use large language models (LLMs) to detect misinformation in scientific reporting. To this end, we first present a new labeled dataset SciNews, containing 2.4k scientific news stories drawn from trusted and untrustworthy sources, paired with related abstracts from the CORD-19 database. Our dataset includes both human-written and LLM-generated news articles, making it more comprehensive in terms of capturing the growing trend of using LLMs to generate popular press articles. Then, we identify dimensions of scientific validity in science news articles and explore how this can be integrated into the automated detection of scientific misinformation. We propose several baseline architectures using LLMs to automatically detect false representations of scientific findings in the popular press. For each of these architectures, we use several prompt engineering strategies including zero-shot, few-shot, and chain-of-thought prompting. We also test these architectures and prompting strategies on GPT-3.5, GPT-4, and Llama2-7B, Llama2-13B.
• Abstract（参考訳）: 新型コロナウイルス(COVID-19)のパンデミックで証明されたように、科学的な事実は世論や行動に影響を与える意図で、大衆の報道でしばしば取り上げられる。 科学領域における誤情報の自動検出は、これらの2つのメディアタイプにおける筆記様式が異なるため困難であり、まだその初期段階にある。 科学的報告の妥当性に関するほとんどの研究は、この問題をクレーム検証の課題として扱う。 適切なクレームを生成するためには、重要な専門家の努力が必要である。 私たちのソリューションはこのステップを回避し、そのような明示的なラベル付きクレームが利用できない、より現実的なシナリオに対処します。 本論文の中心的な研究課題は,科学的報告における誤情報の検出に大規模言語モデル(LLM)を用いることが可能であるかどうかである。 そこで我々はまず,信頼度の高い情報源や信頼できない情報源から得られた2.4kの科学ニュース記事を含む新たなラベル付きデータセットscinewsを,cord-19データベースの関連要約と組み合わせて紹介する。 我々のデータセットには、人間による記事とLLMによるニュース記事の両方が含まれており、LLMを使って人気のあるニュース記事を生成する傾向の高まりを捉えている。 次に,科学ニュース記事の科学的妥当性の次元を特定し,科学的誤報の自動検出にどのように組み込むかを検討する。 本稿では,LLMを用いたいくつかのベースラインアーキテクチャを提案し,科学的な発見の偽表現を自動的に検出する。 これらのアーキテクチャごとに、ゼロショット、少数ショット、チェーンオブマインドプロンプトなど、いくつかのプロンプトエンジニアリング戦略を使用します。 また,これらのアーキテクチャをGPT-3.5,GPT-4,Llama2-7B,Llama2-13B上でテストする。

関連論文リスト

• Scientific QA System with Verifiable Answers [0.0]
  我々は,オープンソースの科学的質問応答システムであるVerifAIプロジェクトを紹介した。 本システムの構成要素は,(1)科学的論文(ミストラル7B)上の意味論的検索技術と語彙的検索技術を組み合わせた情報検索システム,(2)微調整生成モデル(ミストラル7B)を用いた検索型生成(RAG)モジュール,(3)微調整DBERTaに基づく検証エンジン,である。
  論文  参考訳（メタデータ） (2024-07-16T08:21:02Z)
• SciDMT: A Large-Scale Corpus for Detecting Scientific Mentions [52.35520385083425]
  SciDMTは,科学的言及検出のための拡張および拡張されたコーパスである。 コーパスは,1)SciDMTの主コーパスは8万4千件の科学的論文と8百万件以上の弱い注釈付き言及アノテーションと,2)評価目的のために手作業で注釈付けされた100件の科学的論文からなる評価セットから構成される。
  論文  参考訳（メタデータ） (2024-06-20T22:03:21Z)
• A Comprehensive Survey of Scientific Large Language Models and Their Applications in Scientific Discovery [68.48094108571432]
  大規模言語モデル(LLM)は、テキストやその他のデータ処理方法に革命をもたらした。 我々は,科学LLM間のクロスフィールドおよびクロスモーダル接続を明らかにすることで,研究ランドスケープのより総合的なビューを提供することを目指している。
  論文  参考訳（メタデータ） (2024-06-16T08:03:24Z)
• Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
  2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。 計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
  論文  参考訳（メタデータ） (2024-04-01T17:45:15Z)
• Modeling Information Change in Science Communication with Semantically Matched Paraphrases [50.67030449927206]
  SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。 SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。 SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2022-10-24T07:44:38Z)
• SciLander: Mapping the Scientific News Landscape [8.504643390943409]
  本稿では,SciLanderについて紹介する。SciLanderは,科学に基づくトピックに関するニュースソースの表現を学習する手法である。 我々は,2020年のパンデミック開始から18ヶ月の期間にわたって,500件の情報源から100万件近いニュース記事を含む,新たな新型コロナウイルスデータセットについて評価を行った。
  論文  参考訳（メタデータ） (2022-05-16T20:20:43Z)
• SciEv: Finding Scientific Evidence Papers for Scientific News [5.6164173936437045]
  我々はSciEvと呼ばれる科学論文を科学ニュース記事から検索するシステムを提案する。 SciEvの重要な特徴は、ドメイン知識エンティティ(DKE)を使用して、第1段階の候補を見つけることである。 本システムを評価するため,ScienceAlertなどのWebサイトから,手作業で編集した100組のペア(新製,紙製)からなるパイロットデータセットを作成した。
  論文  参考訳（メタデータ） (2022-04-30T01:43:23Z)
• Semi-Supervised Exaggeration Detection of Health Science Press Releases [23.930041685595775]
  近年の研究では、研究結果を誇張することで、メディアが科学論文を誤って表現する傾向が示されている。 本稿では,科学コミュニケーションにおける誇張検出問題の形式化と研究について述べる。 本稿では,補完的なクローゼスタイルのQAタスクからの知識を活用し,数発の学習を改善する多タスク版であるMT-PETを紹介する。
  論文  参考訳（メタデータ） (2021-08-30T19:32:20Z)
• Misinformation Has High Perplexity [55.47422012881148]
  疑似クレームを教師なしの方法でデバンクするために, 難易度を活用することを提案する。 まず,これらの主張に類似した文に基づいて,科学的およびニュースソースから信頼性のある証拠を抽出する。 第2に,抽出したエビデンスを言語モデルにプライマリし,難易度スコアに基づいて与えられたクレームの正当性を評価する。
  論文  参考訳（メタデータ） (2020-06-08T15:13:44Z)
• Fact or Fiction: Verifying Scientific Claims [53.29101835904273]
  本稿では,研究文献から,REFUTESやREFUTESが与えられた科学的主張であることを示す証拠を含む抄録を抽出する新たな課題である,科学的クレーム検証を紹介する。 SciFactは、1.4Kの専門家による科学的主張と、ラベルや合理性に注釈を付けたエビデンスを含む抽象概念を組み合わせたデータセットである。 このシステムは,CORD-19コーパスの証拠を同定することにより,新型コロナウイルス関連クレームを検証可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-30T17:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。