論文の概要: Reducing Large Language Model Safety Risks in Women's Health using Semantic Entropy

• arxiv url: http://arxiv.org/abs/2503.00269v1
• Date: Sat, 01 Mar 2025 00:57:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:27:19.521760
• Title: Reducing Large Language Model Safety Risks in Women's Health using Semantic Entropy
• Title（参考訳）: セマンティックエントロピーを用いた女性の健康における大規模言語モデル安全性リスクの低減
• Authors: Jahan C. Penny-Dimri, Magdalena Bachmann, William R. Cooke, Sam Mathewlynn, Samuel Dockree, John Tolladay, Jannik Kossen, Lin Li, Yarin Gal, Gabriel Davis Jones,
• Abstract要約: 大型言語モデル (LLM) は幻覚と呼ばれる誤りや誤解を招く出力を生成する。 難易度などの不確実性を定量化する伝統的な手法は、誤報につながる意味レベルの不整合を捉えることに失敗する。 我々は,新たな不確実性指標であるセマンティックエントロピー(SE)を評価し,AI生成医療内容の幻覚を検出する。
• 参考スコア（独自算出の注目度）: 29.14930590607661
• License:
• Abstract: Large language models (LLMs) hold substantial promise for clinical decision support. However, their widespread adoption in medicine, particularly in healthcare, is hindered by their propensity to generate false or misleading outputs, known as hallucinations. In high-stakes domains such as women's health (obstetrics & gynaecology), where errors in clinical reasoning can have profound consequences for maternal and neonatal outcomes, ensuring the reliability of AI-generated responses is critical. Traditional methods for quantifying uncertainty, such as perplexity, fail to capture meaning-level inconsistencies that lead to misinformation. Here, we evaluate semantic entropy (SE), a novel uncertainty metric that assesses meaning-level variation, to detect hallucinations in AI-generated medical content. Using a clinically validated dataset derived from UK RCOG MRCOG examinations, we compared SE with perplexity in identifying uncertain responses. SE demonstrated superior performance, achieving an AUROC of 0.76 (95% CI: 0.75-0.78), compared to 0.62 (0.60-0.65) for perplexity. Clinical expert validation further confirmed its effectiveness, with SE achieving near-perfect uncertainty discrimination (AUROC: 0.97). While semantic clustering was successful in only 30% of cases, SE remains a valuable tool for improving AI safety in women's health. These findings suggest that SE could enable more reliable AI integration into clinical practice, particularly in resource-limited settings where LLMs could augment care. This study highlights the potential of SE as a key safeguard in the responsible deployment of AI-driven tools in women's health, leading to safer and more effective digital health interventions.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、臨床上の決定支援をかなり約束する。 しかし、医学、特に医療において広く採用されていることは、幻覚として知られる誤った、または誤解を招くアウトプットを発生させる傾向によって妨げられている。 女性の健康(産婦人科・産婦人科)のような高度な領域では、臨床推論の誤りが母体および新生児の予後に重大な影響を及ぼしうるため、AIが生成する反応の信頼性が不可欠である。 難易度などの不確実性を定量化する伝統的な手法は、誤報につながる意味レベルの不整合を捉えることに失敗する。 本稿では,意味レベルの変動を評価する新しい不確実性尺度であるセマンティックエントロピー(SE)を評価し,AIによる医療内容の幻覚を検出する。 イギリス RCOG MRCOG 検査から得られた臨床的に検証されたデータセットを用いて,SEと不確実性判定の難易度を比較した。 SEはより優れた性能を示し、AUROC は 0.76 (95% CI: 0.75-0.78) であり、パープレキシティは 0.62 (0.60-0.65) であった。 SEがほぼ完全な不確実性判定(AUROC: 0.97)を達成した。 セマンティッククラスタリングはわずか30%のケースで成功したが、SEは女性の健康におけるAI安全性を改善する貴重なツールである。 これらの結果は、特にLLMがケアを増強できるリソース制限設定において、SEがより信頼性の高いAIを臨床実践に組み込むことができることを示唆している。 この研究は、女性の健康にAI駆動ツールを関与させる上で、SEが鍵となるセーフガードの可能性を強調し、より安全で効果的なデジタルヘルス介入につながっている。

関連論文リスト

• Evaluating Spoken Language as a Biomarker for Automated Screening of Cognitive Impairment [37.40606157690235]
  言語と言語の変化は、アルツハイマー病と関連する認知症を早期に予測できる。 音声言語からのADRDスクリーニングと重度予測のための機械学習手法の評価を行った。 リスク階層化と言語的特徴重要度分析は、予測の解釈可能性と臨床的有用性を高めた。
  論文  参考訳（メタデータ） (2025-01-30T20:17:17Z)
• Towards Safe AI Clinicians: A Comprehensive Study on Large Language Model Jailbreaking in Healthcare [15.438265972219869]
  大規模言語モデル(LLM)は、医療アプリケーションでますます活用されている。 本研究は、6個のLDMの脆弱性を3つの高度なブラックボックスジェイルブレイク技術に系統的に評価する。
  論文  参考訳（メタデータ） (2025-01-27T22:07:52Z)
• Detecting Bias and Enhancing Diagnostic Accuracy in Large Language Models for Healthcare [0.2302001830524133]
  バイアスドAIによる医療アドバイスと誤診は患者の安全を脅かす可能性がある。 本研究では、医療における倫理的かつ正確なAIを促進するために設計された新しいリソースを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T06:00:05Z)
• Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
  大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。 このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。 人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
  論文  参考訳（メタデータ） (2024-04-16T23:56:38Z)
• Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond [52.246494389096654]
  本稿ではワードシーケンスエントロピー(WSE)を紹介し,単語レベルとシーケンスレベルの不確実性を校正する手法を提案する。 We compare WSE with six baseline method on five free-form medical QA datasets, using 7 popular large language model (LLMs)。
  論文  参考訳（メタデータ） (2024-02-22T03:46:08Z)
• RAISE -- Radiology AI Safety, an End-to-end lifecycle approach [5.829180249228172]
  放射線学へのAIの統合は、臨床ケアの供給と効率を改善する機会をもたらす。 モデルが安全性、有効性、有効性の最高基準を満たすことに注力すべきである。 ここで提示されるロードマップは、放射線学におけるデプロイ可能で信頼性があり、安全なAIの達成を早めることを目的としている。
  論文  参考訳（メタデータ） (2023-11-24T15:59:14Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Large Language Models for Healthcare Data Augmentation: An Example on Patient-Trial Matching [49.78442796596806]
  患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。 本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
  論文  参考訳（メタデータ） (2023-03-24T03:14:00Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• Can uncertainty boost the reliability of AI-based diagnostic methods in digital pathology? [3.8424737607413157]
  デジタル病理学におけるDL予測の不確実性予測を付加すると,臨床応用の価値が増大する可能性が示唆された。 モデル統合手法(MCドロップアウトとディープアンサンブル)の有効性をモデル非依存アプローチと比較した。 以上の結果から,不確実性推定はある程度の信頼性を高め,分類しきい値選択に対する感度を低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2021-12-17T10:10:00Z)
• UNITE: Uncertainty-based Health Risk Prediction Leveraging Multi-sourced Data [81.00385374948125]
  我々はUNcertaInTyベースのhEalth Risk Prediction(UNITE)モデルを提案する。 UNITEは、複数ソースの健康データを活用した正確な疾患リスク予測と不確実性推定を提供する。 非アルコール性脂肪肝疾患(NASH)とアルツハイマー病(AD)の実態予測タスクにおけるUNITEの評価を行った。 UNITEはAD検出のF1スコアで最大0.841点、NASH検出のPR-AUCで最大0.609点を達成し、最高のベースラインで最大19%の高パフォーマンスを達成している。
  論文  参考訳（メタデータ） (2020-10-22T02:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。