論文の概要: MedFact: A Large-scale Chinese Dataset for Evidence-based Medical Fact-checking of LLM Responses
- arxiv url: http://arxiv.org/abs/2509.17436v1
- Date: Mon, 22 Sep 2025 07:26:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.265665
- Title: MedFact: A Large-scale Chinese Dataset for Evidence-based Medical Fact-checking of LLM Responses
- Title（参考訳）: MedFact: LLM応答の医療ファクトチェックのための大規模中国データセット
- Authors: Tong Chen, Zimu Wang, Yiyi Miao, Haoran Luo, Yuanfei Sun, Wei Wang, Zhengyong Jiang, Procheta Sen, Jionglong Su,
- Abstract要約: MedFactは、大規模な言語モデル(LLM)が生成する医療コンテンツの、最初の証拠に基づく中国の医療ファクトチェックデータセットである。
1,321の質問と7,409のクレームで構成され、現実世界の医療シナリオの複雑さを反映している。
- 参考スコア（独自算出の注目度）: 15.147733422773777
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical fact-checking has become increasingly critical as more individuals seek medical information online. However, existing datasets predominantly focus on human-generated content, leaving the verification of content generated by large language models (LLMs) relatively unexplored. To address this gap, we introduce MedFact, the first evidence-based Chinese medical fact-checking dataset of LLM-generated medical content. It consists of 1,321 questions and 7,409 claims, mirroring the complexities of real-world medical scenarios. We conduct comprehensive experiments in both in-context learning (ICL) and fine-tuning settings, showcasing the capability and challenges of current LLMs on this task, accompanied by an in-depth error analysis to point out key directions for future research. Our dataset is publicly available at https://github.com/AshleyChenNLP/MedFact.
- Abstract（参考訳）: オンラインで医療情報を求める個人が増えるにつれて、医療ファクトチェックはますます重要になっている。
しかし、既存のデータセットは主に人為的なコンテンツに焦点を当てており、大きな言語モデル(LLM)によって生成されるコンテンツの検証は比較的未調査のままである。
このギャップに対処するため,我々は,LCM生成医療コンテンツの中国初の医療ファクトチェックデータセットであるMedFactを紹介した。
1,321の質問と7,409のクレームで構成され、現実世界の医療シナリオの複雑さを反映している。
本研究は,テキスト内学習(ICL)と微調整設定の両方において総合的な実験を行い,この課題における現在のLLMの能力と課題を示す。
私たちのデータセットはhttps://github.com/AshleyChenNLP/MedFact.comで公開されています。
関連論文リスト
- Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning [57.873833577058]
医療知識の豊富なマルチモーダルデータセットを構築した。
次に医学専門のMLLMであるLingshuを紹介します。
Lingshuは、医療専門知識の組み込みとタスク解決能力の向上のために、マルチステージトレーニングを行っている。
論文 参考訳（メタデータ） (2025-06-08T08:47:30Z) - Fact or Guesswork? Evaluating Large Language Models' Medical Knowledge with Structured One-Hop Judgments [108.55277188617035]
大規模言語モデル(LLM)は、様々な下流タスクドメインで広く採用されているが、実際の医学的知識を直接呼び起こし、適用する能力は、まだ探索されていない。
標準化された語彙と知識グラフの包括的なリポジトリであるUMLS(Unified Medical Language System)から派生したデータセットであるMKJ(Messical Knowledge Judgment dataset)を紹介する。
バイナリ分類フレームワークを通じて、MKJは、簡潔なワンホップ文の妥当性を評価することによって、LCMが基本的な医学的事実を把握できることを評価する。
論文 参考訳（メタデータ） (2025-02-20T05:27:51Z) - Enabling Scalable Evaluation of Bias Patterns in Medical LLMs [2.089191490381739]
大規模言語モデル(LLMs)は、多くの医学的課題に大きく貢献する可能性を示している。
主な関心領域の1つは、医学的応用におけるLSMの偏りのある行動に関連しており、個人の不公平な治療につながっている。
本稿では,厳密な医学的証拠に基づく検査ケースの自動生成により,そのようなバイアス評価をスケールアップする手法を提案する。
論文 参考訳（メタデータ） (2024-10-18T14:17:03Z) - Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。
MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。
MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
論文 参考訳（メタデータ） (2024-08-22T17:01:34Z) - MedREQAL: Examining Medical Knowledge Recall of Large Language Models via Question Answering [5.065947993017158]
大きな言語モデル(LLM)は、大きなテキストコーパスで事前学習中に知識を符号化する印象的な能力を示している。
体系的レビューから得られた新しいデータセットを構築することにより, LLMが医療知識のリコールを示す能力について検討する。
論文 参考訳（メタデータ） (2024-06-09T16:33:28Z) - OmniMedVQA: A New Large-Scale Comprehensive Evaluation Benchmark for Medical LVLM [48.16696073640864]
我々は,新しい包括的ビジュアル質問回答(VQA)ベンチマークであるOmniMedVQAを紹介する。
このベンチマークのすべての画像は、本物の医療シナリオから得られたものです。
既存のLVLMはこれらの医療用VQA問題に効果的に取り組むのに苦労していることがわかった。
論文 参考訳（メタデータ） (2024-02-14T13:51:56Z) - A Survey of Large Language Models in Medicine: Progress, Application, and Challenge [85.09998659355038]
大規模言語モデル (LLM) は、人間の言語を理解し、生成する能力のために大きな注目を集めている。
本総説は,医学におけるLSMの開発と展開について概説することを目的としている。
論文 参考訳（メタデータ） (2023-11-09T02:55:58Z) - Don't Ignore Dual Logic Ability of LLMs while Privatizing: A
Data-Intensive Analysis in Medical Domain [19.46334739319516]
本研究では, LLMの二重論理能力が, 医療領域の民営化過程における影響について検討した。
以上の結果から,LLMに汎用ドメイン二重論理データを組み込むことによって,LLMの二重論理能力が向上するだけでなく,精度も向上することが示唆された。
論文 参考訳（メタデータ） (2023-09-08T08:20:46Z) - Med-HALT: Medical Domain Hallucination Test for Large Language Models [0.0]
本研究では,大規模言語モデル(LLM)における幻覚による課題に焦点を当てた。
我々は,幻覚の評価と低減を目的とした新しいベンチマークとデータセット,Med-HALT (Medical Domain Hallucination Test) を提案する。
論文 参考訳（メタデータ） (2023-07-28T06:43:04Z) - Med-Flamingo: a Multimodal Medical Few-shot Learner [58.85676013818811]
医療領域に適応したマルチモーダル・数ショット学習者であるMed-Flamingoを提案する。
OpenFlamingo-9Bに基づいて、出版物や教科書からの医療画像テキストデータのペア化とインターリーブ化を継続する。
本研究は,医療用VQA(ジェネレーティブ医療用VQA)の最初の人間評価である。
論文 参考訳（メタデータ） (2023-07-27T20:36:02Z) - Med-MMHL: A Multi-Modal Dataset for Detecting Human- and LLM-Generated
Misinformation in the Medical Domain [14.837495995122598]
Med-MMHLは、複数の疾患を含む一般的な医療領域において、新しいマルチモーダルな誤情報検出データセットである。
本データセットは,各種疾患および各種シナリオにおける誤情報検出手法の総合的な研究・開発を促進することを目的としている。
論文 参考訳（メタデータ） (2023-06-15T05:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。