論文の概要: Trustworthy AI for Medicine: Continuous Hallucination Detection and Elimination with CHECK

• arxiv url: http://arxiv.org/abs/2506.11129v1
• Date: Tue, 10 Jun 2025 17:12:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.493753
• Title: Trustworthy AI for Medicine: Continuous Hallucination Detection and Elimination with CHECK
• Title（参考訳）: 医療のための信頼できるAI: CHECKによる継続的幻覚の検出と排除
• Authors: Carlos Garcia-Fernandez, Luis Felipe, Monique Shotande, Muntasir Zitu, Aakash Tripathi, Ghulam Rasool, Issam El Naqa, Vivek Rudrapatna, Gilmer Valdes,
• Abstract要約: 大規模言語モデル(LLMs)は医療において有望であるが、幻覚は臨床利用にとって大きな障壁である。 構造化された臨床データベースを統合して幻覚を検出する継続的学習フレームワークであるCHECKについて述べる。
• 参考スコア（独自算出の注目度）: 1.3638020767676653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) show promise in healthcare, but hallucinations remain a major barrier to clinical use. We present CHECK, a continuous-learning framework that integrates structured clinical databases with a classifier grounded in information theory to detect both factual and reasoning-based hallucinations. Evaluated on 1500 questions from 100 pivotal clinical trials, CHECK reduced LLama3.3-70B-Instruct hallucination rates from 31% to 0.3% - making an open source model state of the art. Its classifier generalized across medical benchmarks, achieving AUCs of 0.95-0.96, including on the MedQA (USMLE) benchmark and HealthBench realistic multi-turn medical questioning. By leveraging hallucination probabilities to guide GPT-4o's refinement and judiciously escalate compute, CHECK boosted its USMLE passing rate by 5 percentage points, achieving a state-of-the-art 92.1%. By suppressing hallucinations below accepted clinical error thresholds, CHECK offers a scalable foundation for safe LLM deployment in medicine and other high-stakes domains.
• Abstract（参考訳）: 大規模言語モデル(LLMs)は医療において有望であるが、幻覚は臨床利用にとって大きな障壁である。 我々は,構造化された臨床データベースを情報理論に基づく分類器と統合し,事実と推論に基づく幻覚を検出する継続的学習フレームワークCHECKを提案する。 CHECKは100の重要な臨床試験から1500の質問を評価し、LLama3.3-70B-インストラクション幻覚率を31%から0.3%に下げた。 その分類器は医学ベンチマーク全体にわたって一般化され、MedQA (USMLE) ベンチマークやHealthBench の現実的なマルチターン医療質問などを含むAUCは 0.95-0.96 に達した。 幻覚の確率を活用して、GPT-4oの洗練を導いており、計算のエスカレートを高めることで、CHECKはUSMLE通過率を5パーセント引き上げ、最先端の92.1%を達成した。 承認された臨床エラー閾値以下の幻覚を抑えることで、CHECKは医療や他の高リスク領域における安全なLLM展開のためのスケーラブルな基盤を提供する。

関連論文リスト

• MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models [81.64135119165277]
  幻覚は臨床的意思決定を阻害し、診断や治療を害する可能性がある。 本稿では,医療用VLMにおける幻覚の評価と緩和を目的とした大規模ベンチマークであるMedHallTuneを提案する。 我々は、MedHallTuneを用いて、現在の医用および一般のVLMの総合的な評価を行い、臨床精度、関連性、ディテールレベル、リスクレベルなど、主要な指標でそれらの性能を評価する。
  論文  参考訳（メタデータ） (2025-02-28T06:59:49Z)
• Medical Hallucinations in Foundation Models and Their Impact on Healthcare [53.97060824532454]
  マルチモーダルデータの処理と生成が可能なファンデーションモデルは、医療におけるAIの役割を変革した。 医療幻覚を、モデルが誤解を招く医療内容を生成する場合の例と定義する。 以上の結果から,Chain-of-Thought (CoT) や Search Augmented Generation などの推論手法は,幻覚率を効果的に低減できることがわかった。 これらの知見は、ロバストな検出と緩和戦略のための倫理的かつ実践的な衝動を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-02-26T02:30:44Z)
• MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
  MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。 GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。 双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
  論文  参考訳（メタデータ） (2025-02-20T06:33:23Z)
• MedHallBench: A New Benchmark for Assessing Hallucination in Medical Large Language Models [0.0]
  医療大言語モデル(MLLM)は医療応用の可能性を示している。 幻覚に対する寛容性は、患者医療に重大なリスクをもたらす。 本稿では,MLLMにおける幻覚の評価と緩和のためのベンチマークフレームワークであるMedHallBenchを紹介する。
  論文  参考訳（メタデータ） (2024-12-25T16:51:29Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Detecting and Evaluating Medical Hallucinations in Large Vision Language Models [22.30139330566514]
  大規模ビジョン言語モデル(LVLM)は、医療アプリケーションにとってますます不可欠なものになっている。 LVLMは幻覚への感受性を継承する。 幻覚検出と評価に特化して設計された最初のベンチマークであるMed-HallMarkを紹介する。 また,正確な幻覚検出のための医療用LVLMであるMedHallDetectorも紹介した。
  論文  参考訳（メタデータ） (2024-06-14T17:14:22Z)
• A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of LLMs by Validating Low-Confidence Generation [76.34411067299331]
  大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。 生成過程における幻覚を積極的に検出・緩和する手法を提案する。 提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
  論文  参考訳（メタデータ） (2023-07-08T14:25:57Z)
• Clinical Camel: An Open Expert-Level Medical Language Model with Dialogue-Based Knowledge Encoding [31.884600238089405]
  臨床研究に適したオープン・大型言語モデル(LLM)であるクリニカル・カメルについて述べる。 QLoRAを用いてLLaMA-2を微調整し,医療用LCMの医療用ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-05-19T23:07:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。