論文の概要: Can Zero-Shot Commercial APIs Deliver Regulatory-Grade Clinical Text DeIdentification?
- arxiv url: http://arxiv.org/abs/2503.20794v2
- Date: Mon, 31 Mar 2025 19:44:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-02 14:13:59.348114
- Title: Can Zero-Shot Commercial APIs Deliver Regulatory-Grade Clinical Text DeIdentification?
- Title(参考訳): ゼロショット商用APIは規制グレード臨床テキスト識別を実現できるか?
- Authors: Veysel Kocaman, Muhammed Santas, Yigit Gul, Mehmet Butgul, David Talby,
- Abstract要約: John Snow Labsの医療言語モデルソリューションは、最高の精度を達成する。
AzureやGPT-4oに比べて80%以上安く、トークンによる価格設定ができない唯一のソリューションである。
- 参考スコア(独自算出の注目度): 4.769069757504856
- License:
- Abstract: We evaluate the performance of four leading solutions for de-identification of unstructured medical text - Azure Health Data Services, AWS Comprehend Medical, OpenAI GPT-4o, and John Snow Labs - on a ground truth dataset of 48 clinical documents annotated by medical experts. The analysis, conducted at both entity-level and token-level, suggests that John Snow Labs' Medical Language Models solution achieves the highest accuracy, with a 96% F1-score in protected health information (PHI) detection, outperforming Azure (91%), AWS (83%), and GPT-4o (79%). John Snow Labs is not only the only solution which achieves regulatory-grade accuracy (surpassing that of human experts) but is also the most cost-effective solution: It is over 80% cheaper compared to Azure and GPT-4o, and is the only solution not priced by token. Its fixed-cost local deployment model avoids the escalating per-request fees of cloud-based services, making it a scalable and economical choice.
- Abstract(参考訳): Azure Health Data Services, AWS Comprehend Medical, OpenAI GPT-4o, John Snow Labs という,非構造化医療テキストの非構造化のための主要な4つのソリューションのパフォーマンスを評価する。
エンティティレベルとトークンレベルの両方で実施されたこの分析は、John Snow Labsのメディカル言語モデルソリューションが、保護されたヘルス情報(PHI)検出、Azure(91%)、AWS(83%)、GPT-4o(79%)の96%のスコアで、最高精度を達成したことを示唆している。
John Snow Labsは、規制グレードの精度を達成する唯一のソリューションであるだけでなく、最もコスト効率のよいソリューションでもある。
固定コストのローカルデプロイメントモデルは、クラウドベースのサービスの要求毎の課金のエスカレートを回避するため、スケーラブルで経済的に選択できる。
関連論文リスト
- Zero-Shot ATC Coding with Large Language Models for Clinical Assessments [40.72273945475456]
解剖学的治療化学符号を処方記録に手動で割り当てることは重大なボトルネックである。
ローカル展開可能な大規模言語モデル(LLM)を用いた実践的アプローチを開発する。
GPT-4oを精度天井とし,プライバシに敏感なデプロイメントに適したオープンソースのLlamaモデルの開発に注力する。
論文 参考訳(メタデータ) (2024-12-10T18:43:02Z) - Unlocking Historical Clinical Trial Data with ALIGN: A Compositional Large Language Model System for Medical Coding [44.01429184037945]
自動ゼロショット医療符号化のための新しい合成LLMシステムであるALIGNを紹介する。
我々は、ALIGNを解剖学的治療化学(ATC)と医学史用語に調和させ、MedDRA(Medicical Dictionary for Regulatory Activity)コードに評価した。
論文 参考訳(メタデータ) (2024-11-20T09:59:12Z) - Design and Evaluation of a CDSS for Drug Allergy Management Using LLMs and Pharmaceutical Data Integration [3.2627279988912194]
Heliotはドラッグアレルギー管理のための革新的なCDSSである。
LLM(Large Language Models)と総合的な薬品データリポジトリを統合する。
ヘリオットの高精度、精度、リコール、F1スコアは、複数の実験走行で100%に達した。
論文 参考訳(メタデータ) (2024-09-24T18:55:10Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。
主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。
DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
論文 参考訳(メタデータ) (2023-01-01T05:02:46Z) - Improving Clinical Efficiency and Reducing Medical Errors through
NLP-enabled diagnosis of Health Conditions from Transcription Reports [0.0]
誤診率は病院における医療ミスの主な原因の1つで、全米で1200万人以上の成人に影響を及ぼしている。
本研究は,NLPに基づく4つのアルゴリズムを用いて,非構造化転写レポートに基づいて適切な健康状態を決定する。
論文 参考訳(メタデータ) (2022-06-27T06:37:15Z) - Optimal discharge of patients from intensive care via a data-driven
policy learning framework [58.720142291102135]
退院課題は、退院期間の短縮と退院決定後の退院や死亡のリスクとの不確実なトレードオフに対処することが重要である。
本研究は、このトレードオフを捉えるためのエンドツーエンドの汎用フレームワークを導入し、最適放電タイミング決定を推奨する。
データ駆動型アプローチは、患者の生理的状態を捉えた同種で離散的な状態空間表現を導出するために用いられる。
論文 参考訳(メタデータ) (2021-12-17T04:39:33Z) - Active learning for medical code assignment [55.99831806138029]
臨床領域における多ラベルテキスト分類におけるアクティブラーニング(AL)の有効性を示す。
MIMIC-IIIデータセットにICD-9コードを自動的に割り当てるために、よく知られたALメソッドのセットを適用します。
その結果、有益なインスタンスの選択は、大幅に減少したトレーニングセットで満足のいく分類を提供する。
論文 参考訳(メタデータ) (2021-04-12T18:11:17Z) - Curvature-based Feature Selection with Application in Classifying
Electronic Health Records [13.427883408828642]
より正確な診断を支援するための効率的な曲率に基づく特徴選択法を提案する。
4つのベンチマークヘルスケアデータセットで最新のパフォーマンスを実現します。
論文 参考訳(メタデータ) (2021-01-10T16:55:40Z) - Privacy-preserving medical image analysis [53.4844489668116]
医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。
集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。
グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
論文 参考訳(メタデータ) (2020-12-10T13:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。