論文の概要: Med-MMHL: A Multi-Modal Dataset for Detecting Human- and LLM-Generated
Misinformation in the Medical Domain
- arxiv url: http://arxiv.org/abs/2306.08871v1
- Date: Thu, 15 Jun 2023 05:59:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-18 14:57:27.245825
- Title: Med-MMHL: A Multi-Modal Dataset for Detecting Human- and LLM-Generated
Misinformation in the Medical Domain
- Title(参考訳): Med-MMHL : 医療領域における人間とLLMの誤情報検出のためのマルチモーダルデータセット
- Authors: Yanshen Sun, Jianfeng He, Shuo Lei, Limeng Cui, Chang-Tien Lu
- Abstract要約: Med-MMHLは、複数の疾患を含む一般的な医療領域において、新しいマルチモーダルな誤情報検出データセットである。
本データセットは,各種疾患および各種シナリオにおける誤情報検出手法の総合的な研究・開発を促進することを目的としている。
- 参考スコア(独自算出の注目度): 14.837495995122598
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The pervasive influence of misinformation has far-reaching and detrimental
effects on both individuals and society. The COVID-19 pandemic has witnessed an
alarming surge in the dissemination of medical misinformation. However,
existing datasets pertaining to misinformation predominantly focus on textual
information, neglecting the inclusion of visual elements, and tend to center
solely on COVID-19-related misinformation, overlooking misinformation
surrounding other diseases. Furthermore, the potential of Large Language Models
(LLMs), such as the ChatGPT developed in late 2022, in generating
misinformation has been overlooked in previous works. To overcome these
limitations, we present Med-MMHL, a novel multi-modal misinformation detection
dataset in a general medical domain encompassing multiple diseases. Med-MMHL
not only incorporates human-generated misinformation but also includes
misinformation generated by LLMs like ChatGPT. Our dataset aims to facilitate
comprehensive research and development of methodologies for detecting
misinformation across diverse diseases and various scenarios, including human
and LLM-generated misinformation detection at the sentence, document, and
multi-modal levels. To access our dataset and code, visit our GitHub
repository: \url{https://github.com/styxsys0927/Med-MMHL}.
- Abstract(参考訳): 誤報の広汎な影響は、個人と社会の両方に広範囲に及ぼし、有害な影響を及ぼす。
新型コロナウイルス(COVID-19)のパンデミックでは、医療情報の拡散が急増している。
しかし、誤情報に関連する既存のデータセットは、主にテキスト情報に焦点を合わせ、視覚要素の含意を無視し、他の病気を取り巻く誤情報を見渡すことだけに集中する傾向にある。
さらに2022年末に開発されたchatgptのような大規模言語モデル(llm)の誤情報生成の可能性は、以前の作品では見過ごされている。
これらの制約を克服するため,複数の疾患を包含する一般医療領域において,新しいマルチモーダル誤情報検出データセットであるMed-MMHLを提案する。
Med-MMHLは人為的な誤情報だけでなく、ChatGPTのようなLLMによって生成された誤情報も含んでいる。
このデータセットは,文,文書,マルチモーダルレベルでの人間およびllm生成の誤情報検出を含む,多様な疾患やシナリオにわたる誤情報検出手法の総合的研究と開発を促進することを目的としている。
データセットとコードにアクセスするには、GitHubリポジトリを参照してください。
関連論文リスト
- MedINST: Meta Dataset of Biomedical Instructions [47.7146913542186]
MedINSTは133のバイオメディカルNLPタスクと700万以上のトレーニングサンプルで構成されている。
我々は、MedINST上で複数のLLMを微調整し、MedINST32上での評価を行い、クロスタスクの一般化の強化を示す。
論文 参考訳(メタデータ) (2024-10-17T11:38:54Z) - FEDMEKI: A Benchmark for Scaling Medical Foundation Models via Federated Knowledge Injection [83.54960238236548]
FEDMEKIはデータのプライバシーを守るだけでなく、医療基盤モデルの能力を高める。
FEDMEKIは、医療ファンデーションモデルに対して、直接データを公開することなく、幅広い医療知識から学ぶことを可能にする。
論文 参考訳(メタデータ) (2024-08-17T15:18:56Z) - Assessing and Enhancing Large Language Models in Rare Disease Question-answering [64.32570472692187]
本稿では,レアな疾患の診断におけるLarge Language Models (LLMs) の性能を評価するために,レアな疾患問合せデータセット(ReDis-QA)を導入する。
ReDis-QAデータセットでは1360の高品質な質問応答ペアを収集し,205の稀な疾患をカバーした。
その後、いくつかのオープンソースのLCMをベンチマークし、希少疾患の診断がこれらのモデルにとって重要な課題であることを示した。
実験の結果,ReCOPは,ReDis-QAデータセット上でのLCMの精度を平均8%向上できることがわかった。
論文 参考訳(メタデータ) (2024-08-15T21:09:09Z) - AMIR: Automated MisInformation Rebuttal -- A COVID-19 Vaccination Datasets based Recommendation System [0.05461938536945722]
本研究は,ソーシャルメディアから得られる既存の情報を活用して,大規模な誤報の自動報知を容易にする方法について検討した。
FaCov(ファクトチェック記事)と誤解を招く(ソーシャルメディアTwitter)という、新型コロナウイルスワクチンに関する2つの公開データセットを活用している。
論文 参考訳(メタデータ) (2023-10-29T13:07:33Z) - Med-HALT: Medical Domain Hallucination Test for Large Language Models [0.0]
本研究では,大規模言語モデル(LLM)における幻覚による課題に焦点を当てた。
我々は,幻覚の評価と低減を目的とした新しいベンチマークとデータセット,Med-HALT (Medical Domain Hallucination Test) を提案する。
論文 参考訳(メタデータ) (2023-07-28T06:43:04Z) - Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。
OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。
本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
論文 参考訳(メタデータ) (2023-07-27T20:36:02Z) - Cross-Modal Causal Intervention for Medical Report Generation [109.83549148448469]
医療報告生成(MRG)は、コンピュータ支援診断と治療指導に不可欠である。
視覚的および言語的バイアスによって引き起こされる画像テキストデータ内の素早い相関のため、病変領域を確実に記述した正確なレポートを生成することは困難である。
本稿では,視覚分解モジュール (VDM) と言語分解モジュール (LDM) からなるMRGのための新しい視覚言語因果干渉 (VLCI) フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-16T07:23:55Z) - Testing the Generalization of Neural Language Models for COVID-19
Misinformation Detection [6.1204874238049705]
新型コロナウイルス(COVID-19)のパンデミックの副産物として、生命を脅かす可能性のある誤報が大幅に増加した。
5つの誤報データセットを用いてトランスフォーマーに基づく15のモデルを評価する。
新型コロナウイルス(COVID-19)データに合わせたトークンやモデルは、汎用データに対して大きな優位性を提供していない。
論文 参考訳(メタデータ) (2021-11-15T15:01:55Z) - Cross-lingual COVID-19 Fake News Detection [54.125563009333995]
低リソース言語(中国語)における新型コロナウイルスの誤報を検出するための最初の試みは、高リソース言語(英語)における事実チェックされたニュースのみを用いて行われる。
そこで我々は、クロスランガルなニュースボディテキストを共同でエンコードし、ニュースコンテンツをキャプチャするCrossFakeというディープラーニングフレームワークを提案する。
実験結果から,クロスランガル環境下でのCrossFakeの有効性が示された。
論文 参考訳(メタデータ) (2021-10-13T04:44:02Z) - Case Study on Detecting COVID-19 Health-Related Misinformation in Social
Media [7.194177427819438]
本稿では、ソーシャルメディアにおける新型コロナウイルスの健康関連誤報を検出するメカニズムについて述べる。
応用機械学習技術を用いて誤情報検出機構に組み込まれた誤情報テーマと関連キーワードを定義した。
本手法は,健康関連誤報と真情報との分類において,少なくとも78%の精度で有望な結果を示す。
論文 参考訳(メタデータ) (2021-06-12T16:26:04Z) - Drink Bleach or Do What Now? Covid-HeRA: A Study of Risk-Informed Health
Decision Making in the Presence of COVID-19 Misinformation [23.449057978351945]
我々は健康上の誤報をリスクアセスメントのタスクとみなしている。
各誤報記事の重大さと読者がこの重大さをどう認識するかを考察する。
従来のモデルと最先端モデルを評価し、性能に大きなギャップがあることを示します。
論文 参考訳(メタデータ) (2020-10-17T08:34:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。