論文の概要: VaxGuard: A Multi-Generator, Multi-Type, and Multi-Role Dataset for Detecting LLM-Generated Vaccine Misinformation

• arxiv url: http://arxiv.org/abs/2503.09103v1
• Date: Wed, 12 Mar 2025 06:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:25.745116
• Title: VaxGuard: A Multi-Generator, Multi-Type, and Multi-Role Dataset for Detecting LLM-Generated Vaccine Misinformation
• Title（参考訳）: VaxGuard: LLM生成ワクチンの誤情報検出のためのマルチジェネレータ、マルチタイプ、マルチロールデータセット
• Authors: Syed Talal Ahmad, Haohui Lu, Sidong Liu, Annie Lau, Amin Beheshti, Mark Dras, Usman Naseem,
• Abstract要約: 既存のベンチマークでは、ワクチン関連の誤報や誤報拡散の多様な役割を見落としていることが多い。 本稿では,これらの課題に対処するために設計された新しいデータセットであるVaxGuardを紹介する。
• 参考スコア（独自算出の注目度）: 8.08298631918046
• License:
• Abstract: Recent advancements in Large Language Models (LLMs) have significantly improved text generation capabilities. However, they also present challenges, particularly in generating vaccine-related misinformation, which poses risks to public health. Despite research on human-authored misinformation, a notable gap remains in understanding how LLMs contribute to vaccine misinformation and how best to detect it. Existing benchmarks often overlook vaccine-specific misinformation and the diverse roles of misinformation spreaders. This paper introduces VaxGuard, a novel dataset designed to address these challenges. VaxGuard includes vaccine-related misinformation generated by multiple LLMs and provides a comprehensive framework for detecting misinformation across various roles. Our findings show that GPT-3.5 and GPT-4o consistently outperform other LLMs in detecting misinformation, especially when dealing with subtle or emotionally charged narratives. On the other hand, PHI3 and Mistral show lower performance, struggling with precision and recall in fear-driven contexts. Additionally, detection performance tends to decline as input text length increases, indicating the need for improved methods to handle larger content. These results highlight the importance of role-specific detection strategies and suggest that VaxGuard can serve as a key resource for improving the detection of LLM-generated vaccine misinformation.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、テキスト生成機能を大幅に改善した。 しかし、彼らはまた、特にワクチン関連の誤報を発生させ、公衆衛生にリスクをもたらす課題も提示している。 人間による誤情報の研究にもかかわらず、LDMがワクチンの誤情報にどのように貢献するか、そしてその検出方法の最良の方法を理解する上で、注目すべきギャップが残っている。 既存のベンチマークでは、ワクチン固有の誤情報や、誤情報スプレッダーの多様な役割を見落としていることが多い。 本稿では,これらの課題に対処するために設計された新しいデータセットであるVaxGuardを紹介する。 VaxGuardには、複数のLSMが生成するワクチン関連誤報が含まれており、様々な役割にわたる誤報を検出するための包括的な枠組みを提供する。 以上の結果から, GPT-3.5とGPT-4oは, 誤報の検出において, 微妙な, 感情的な物語を扱う場合, 常に他のLPMよりも優れていた。 一方、PHI3とMistralは性能が低下し、恐怖の文脈では精度とリコールに苦慮している。 さらに、入力テキスト長が増加するにつれて検出性能が低下する傾向にあり、より大きなコンテンツを扱う方法の改善の必要性が示される。 これらの結果は、役割特異的な検出戦略の重要性を強調し、VaxGuardがLLM生成ワクチンの誤情報の検出を改善するための重要な資源となることを示唆している。

関連論文リスト

• Optimizing Social Media Annotation of HPV Vaccine Skepticism and Misinformation Using Large Language Models: An Experimental Evaluation of In-Context Learning and Fine-Tuning Stance Detection Across Multiple Models [10.2201516537852]
  我々は,HPVワクチン関連ツイートに対するスタンス検出のためのソーシャルメディアコンテンツアノテーションのスケールアップのための最適戦略を実験的に決定する。 一般に、インコンテキスト学習は、HPVワクチンのソーシャルメディアコンテンツに対するスタンス検出において微調整よりも優れる。
  論文  参考訳（メタデータ） (2024-11-22T04:19:32Z)
• Can Editing LLMs Inject Harm? [122.83469484328465]
  我々は,大規模言語モデルに対する新しいタイプの安全脅威として,知識編集を再構築することを提案する。 誤情報注入の危険性については,まずコモンセンス誤情報注入とロングテール誤情報注入に分類する。 偏見注入のリスクに対して, 偏見文をLLMに高効率で注入できるだけでなく, 1つの偏見文注入で偏見が増大することを発見した。
  論文  参考訳（メタデータ） (2024-07-29T17:58:06Z)
• LEMMA: Towards LVLM-Enhanced Multimodal Misinformation Detection with External Knowledge Augmentation [58.524237916836164]
  外部知識を付加したLVLM強化マルチモーダル誤報検出システム LEMMAを提案する。 提案手法は,Twitter と Fakeddit のデータセットにおいて,上位ベースライン LVLM の精度を 7% と 13% に向上させる。
  論文  参考訳（メタデータ） (2024-02-19T08:32:27Z)
• Hierarchical Multi-Label Classification of Online Vaccine Concerns [8.271202196208]
  ワクチンの懸念は進化を続けるターゲットであり、新型コロナウイルス(COVID-19)のパンデミックで見られるように急速に変化する可能性がある。 本稿では,大規模言語モデル(LLM)を用いて,高価なトレーニングデータセットを必要とせず,ゼロショット設定でワクチンの関心事を検出するタスクについて検討する。
  論文  参考訳（メタデータ） (2024-02-01T20:56:07Z)
• A Survey on Detection of LLMs-Generated Content [97.87912800179531]
  LLMの生成する内容を検出する能力が最重要視されている。 既存の検出戦略とベンチマークの詳細な概要を提供する。 また、様々な攻撃から守るための多面的アプローチの必要性を示唆する。
  論文  参考訳（メタデータ） (2023-10-24T09:10:26Z)
• The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
  大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。 語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。 本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
  論文  参考訳（メタデータ） (2023-10-20T14:49:47Z)
• Disinformation Detection: An Evolving Challenge in the Age of LLMs [16.46484369516341]
  大きな言語モデル(LLM)は、説得力が高く、誤解を招くコンテンツを生成する。 LLMは、先進的な偽情報に対する堅牢な防御として利用することができる。 偽情報の形成と検出を総合的に探究し、この研究を育成する。
  論文  参考訳（メタデータ） (2023-09-25T22:12:50Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)
• Insta-VAX: A Multimodal Benchmark for Anti-Vaccine and Misinformation Posts Detection on Social Media [32.252687203366605]
  ソーシャルメディア上の抗ワクチンポストは、混乱を招き、ワクチンに対する大衆の信頼を低下させることが示されている。 Insta-VAXは、ヒトワクチンに関連する64,957のInstagram投稿のサンプルからなる、新しいマルチモーダルデータセットである。
  論文  参考訳（メタデータ） (2021-12-15T20:34:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。