論文の概要: Can Zero-Shot Commercial APIs Deliver Regulatory-Grade Clinical Text DeIdentification?

• arxiv url: http://arxiv.org/abs/2503.20794v1
• Date: Fri, 21 Mar 2025 10:05:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:55:06.560083
• Title: Can Zero-Shot Commercial APIs Deliver Regulatory-Grade Clinical Text DeIdentification?
• Title（参考訳）: ゼロショット商用APIは規制グレード臨床テキスト識別を実現できるか?
• Authors: Veysel Kocaman, Muhammed Santas, Yigit Gul, Mehmet Butgul, David Talby,
• Abstract要約: 医療NLPは、保護された健康情報(PHI)の検出において96%のF1スコアを達成している。 固定コストのローカルデプロイメントモデルは、クラウドベースのサービスの要求毎の手数料のエスカレートを回避する。 0ショットの商用APIは、規制グレードの臨床診断に必要とされる正確性、適応性、コスト効率を満たさない。
• 参考スコア（独自算出の注目度）: 4.769069757504856
• License:
• Abstract: We systematically assess the performance of three leading API-based de-identification systems - Azure Health Data Services, AWS Comprehend Medical, and OpenAI GPT-4o - against our de-identification systems on a ground truth dataset of 48 clinical documents annotated by medical experts. Our analysis, conducted at both entity-level and token-level, demonstrates that our solution, Healthcare NLP, achieves the highest accuracy, with a 96% F1-score in protected health information (PHI) detection, significantly outperforming Azure (91%), AWS (83%), and GPT-4o (79%). Beyond accuracy, Healthcare NLP is also the most cost-effective solution, reducing processing costs by over 80% compared to Azure and GPT-4o. Its fixed-cost local deployment model avoids the escalating per-request fees of cloud-based services, making it a scalable and economical choice. Our results underscore a critical limitation: zero-shot commercial APIs fail to meet the accuracy, adaptability, and cost-efficiency required for regulatory-grade clinical de-identification. Healthcare NLP's superior performance, customization capabilities, and economic advantages position it as the more viable solution for healthcare organizations seeking compliance and scalability in clinical NLP workflows.
• Abstract（参考訳）: Azure Health Data Services、AWS Comprehend Medical、OpenAI GPT-4oの3つの主要なAPIベースの非識別システムのパフォーマンスを、医療専門家が注釈付けした48の臨床文書の真実データセットに基づいて体系的に評価する。 私たちの分析では、エンティティレベルとトークンレベルの両方で実施され、私たちのソリューションであるHealthcare NLPが、保護された健康情報(PHI)の検出において96%のF1スコアを獲得し、Azure(91%)、AWS(83%)、GPT-4o(79%)を大きく上回っていることを実証しています。 正確性以外にも、Healthcare NLPは最もコスト効率のよいソリューションであり、AzureやGPT-4oと比較して処理コストを80%以上削減している。 固定コストのローカルデプロイメントモデルは、クラウドベースのサービスの要求毎の課金のエスカレートを回避するため、スケーラブルで経済的に選択できる。 0ショットの商用APIは、規制グレードの臨床診断に必要とされる正確性、適応性、コスト効率を満たさない。 医療NLPの優れたパフォーマンス、カスタマイズ能力、経済的優位性は、臨床NLPワークフローのコンプライアンスと拡張性を求める医療組織にとって、より実行可能なソリューションであると位置づけている。

関連論文リスト

• Zero-Shot ATC Coding with Large Language Models for Clinical Assessments [40.72273945475456]
  解剖学的治療化学符号を処方記録に手動で割り当てることは重大なボトルネックである。 ローカル展開可能な大規模言語モデル(LLM)を用いた実践的アプローチを開発する。 GPT-4oを精度天井とし,プライバシに敏感なデプロイメントに適したオープンソースのLlamaモデルの開発に注力する。
  論文  参考訳（メタデータ） (2024-12-10T18:43:02Z)
• Unlocking Historical Clinical Trial Data with ALIGN: A Compositional Large Language Model System for Medical Coding [44.01429184037945]
  自動ゼロショット医療符号化のための新しい合成LLMシステムであるALIGNを紹介する。 我々は、ALIGNを解剖学的治療化学(ATC)と医学史用語に調和させ、MedDRA(Medicical Dictionary for Regulatory Activity)コードに評価した。
  論文  参考訳（メタデータ） (2024-11-20T09:59:12Z)
• Design and Evaluation of a CDSS for Drug Allergy Management Using LLMs and Pharmaceutical Data Integration [3.2627279988912194]
  Heliotはドラッグアレルギー管理のための革新的なCDSSである。 LLM(Large Language Models)と総合的な薬品データリポジトリを統合する。 ヘリオットの高精度、精度、リコール、F1スコアは、複数の実験走行で100%に達した。
  論文  参考訳（メタデータ） (2024-09-24T18:55:10Z)
• Large Language Models for Healthcare Data Augmentation: An Example on Patient-Trial Matching [49.78442796596806]
  患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。 本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
  論文  参考訳（メタデータ） (2023-03-24T03:14:00Z)
• Towards Reliable Medical Image Segmentation by utilizing Evidential Calibrated Uncertainty [52.03490691733464]
  本稿では,医療画像セグメンテーションネットワークにシームレスに統合可能な,実装が容易な基礎モデルであるDEviSを紹介する。 主観的論理理論を利用して、医用画像分割の問題に対する確率と不確実性を明示的にモデル化する。 DeviSには不確実性を考慮したフィルタリングモジュールが組み込まれている。
  論文  参考訳（メタデータ） (2023-01-01T05:02:46Z)
• Improving Clinical Efficiency and Reducing Medical Errors through NLP-enabled diagnosis of Health Conditions from Transcription Reports [0.0]
  誤診率は病院における医療ミスの主な原因の1つで、全米で1200万人以上の成人に影響を及ぼしている。 本研究は,NLPに基づく4つのアルゴリズムを用いて,非構造化転写レポートに基づいて適切な健康状態を決定する。
  論文  参考訳（メタデータ） (2022-06-27T06:37:15Z)
• Optimal discharge of patients from intensive care via a data-driven policy learning framework [58.720142291102135]
  退院課題は、退院期間の短縮と退院決定後の退院や死亡のリスクとの不確実なトレードオフに対処することが重要である。 本研究は、このトレードオフを捉えるためのエンドツーエンドの汎用フレームワークを導入し、最適放電タイミング決定を推奨する。 データ駆動型アプローチは、患者の生理的状態を捉えた同種で離散的な状態空間表現を導出するために用いられる。
  論文  参考訳（メタデータ） (2021-12-17T04:39:33Z)
• Active learning for medical code assignment [55.99831806138029]
  臨床領域における多ラベルテキスト分類におけるアクティブラーニング(AL)の有効性を示す。 MIMIC-IIIデータセットにICD-9コードを自動的に割り当てるために、よく知られたALメソッドのセットを適用します。 その結果、有益なインスタンスの選択は、大幅に減少したトレーニングセットで満足のいく分類を提供する。
  論文  参考訳（メタデータ） (2021-04-12T18:11:17Z)
• Curvature-based Feature Selection with Application in Classifying Electronic Health Records [13.427883408828642]
  より正確な診断を支援するための効率的な曲率に基づく特徴選択法を提案する。 4つのベンチマークヘルスケアデータセットで最新のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-01-10T16:55:40Z)
• Privacy-preserving medical image analysis [53.4844489668116]
  医用画像におけるプライバシ保護機械学習(PPML)のためのソフトウェアフレームワークであるPriMIAを提案する。 集合型学習モデルの分類性能は,未発見データセットの人間専門家と比較して有意に良好である。 グラデーションベースのモデル反転攻撃に対するフレームワークのセキュリティを実証的に評価する。
  論文  参考訳（メタデータ） (2020-12-10T13:56:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。