論文の概要: Institution-Specific LLM Prompting Recovers PHI That De-identification Systems and Their Gold Standards Both Miss

• arxiv url: http://arxiv.org/abs/2608.17051v1
• Date: Mon, 17 Aug 2026 18:56:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.100494
• Title: Institution-Specific LLM Prompting Recovers PHI That De-identification Systems and Their Gold Standards Both Miss
• Title（参考訳）: インスティテューション・インスティテューション・スペクティフィック LLM Prompting がPHIを発見
• Abstract要約: インコンテキスト学習(ICL)を備えた大規模言語モデル(LLM)は、ギャップを埋め、精度を制御し、トレードオフをリコールする。 テキサス小児病院(Texas Children's Hospital)から100の注釈付き小児腫瘍学ノート(5,322 PHIスパンス)で、目的の2つのシステムに対して8つのLSMをベンチマークした。
• 参考スコア（独自算出の注目度）: 4.152010270102614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Secondary use of electronic health records requires de-identification, yet existing systems miss \emph{institutionally situated} protected health information (PHI) such as hospital abbreviations, building names, and internal codes whose status is locally determined. We ask whether large language models (LLMs) with in-context learning (ICL) can close this gap and control the precision--recall trade-off. On 100 annotated pediatric oncology notes (5,322 PHI spans) from Texas Children's Hospital, we benchmarked eight LLMs against two purpose-built systems (Stanford TiDE, OpenMed PII) and two pattern-based baselines. Each LLM ran under three prompts of increasing specificity: (1) a HIPAA-aligned baseline, (2) baseline plus the institutional PHI categories it missed, and (3) prompt 2 plus instructions against over-redacting clinical content. We then compared 14~multi-agent and ensemble configurations against the best single prompt, with recall the primary safety metric. LLMs outperformed the purpose-built systems (best F1=0.918$\pm$0.001 vs.\ TiDE 0.779), with advantages concentrated in contextual categories. Naming the missed categories recovered 79\% (48/61) of them, and discouraging over-redaction restored precision. No agentic architecture beat calibrated single-pass prompting (F1 0.906--0.907), but LLM outputs surfaced 414~candidate annotation gaps; re-annotation confirmed 227~PHI spans, against which the final prompt reached recall=0.981 (F1=0.907$\pm$0.002). Well-calibrated ICL resolves both the institutional PHI gap and the precision--recall trade-off in one LLM call per note. LLMs cost more to run than traditional methods, but that cost buys a way to audit the reference standard. LLMs are a legitimate, adaptable alternative to purpose-built de-identification systems; institution-specific prompt development should be the primary adaptation strategy.
• Abstract（参考訳）: 電子健康記録の二次的な使用は、非識別化を必要とするが、既存のシステムでは、病院の略語、建築名、地域的地位が決定される内部コードなどの保護された健康情報(PHI)を見逃している。 文脈内学習(ICL)を伴う大規模言語モデル(LLM)が,このギャップを埋めて,高精度なリコールトレードオフを制御できるかどうかを問う。 テキサス小児病院(Texas Children's Hospital)から100の注釈付き小児オンコロジーノート(5,322 PHIスパンス)で、目的とする2つのシステム(Stanford TiDE, OpenMed PII)とパターンベースの2つのベースラインに対して8つのLSMをベンチマークした。 各LSMは,(1)HIPAAを基準としたベースライン,(2)ベースラインと欠落する制度的PHIカテゴリー,(3)過剰に反応する臨床内容に対する指示の3つのプロンプトで実行された。 次に、最良なシングルプロンプトに対して14〜複数エージェントとアンサンブル構成を比較し、主要な安全基準を思い出した。 LLMは汎用システム(F1=0.918$\pm$0.001 vs.)よりも優れていた。 TiDE 0.779) のアドバンテージはコンテキストカテゴリに集中している。 欠落したカテゴリーを命名すると79\%(48/61)が回復し、過剰反応の再現精度が低下した。 エージェントアーキテクチャはキャリブレーションされたシングルパスプロンプト(F1 0.906--0.907)を出力しないが、LCM出力は414〜candidateアノテーションギャップがあり、再アノテーションにより227～PHIスパンが確認され、最後のプロンプトがリコール=0.981(F1=0.907$\pm$0.002)に達した。 十分に校正されたICLは、機関のPHIギャップと精度の両方を解決している。 LLMは従来の方法よりも多くのコストがかかるが、そのコストは基準基準を監査する方法を買う。 LLMは、目的を持った非識別システムに代わる、合法的で適応可能な代替手段であり、機関固有の迅速な開発が主要な適応戦略であるべきである。

関連論文リスト

• Do We Still Need Humans in the Loop? Comparing Human and LLM Annotation in Active Learning for Hostility Detection [68.37351671559675]
  アクティブな学習は、無視可能なコストで短いプロンプトから何千ものインスタンスに注釈を付けることができる。 LLMラベルはALループ内で人間のラベルを置き換えることができ、ALはコーパス全体を一度にラベル付けできるときに必要か? 277,902人のドイツの政治的TikTokコメントの新しいデータセットについて、両方の質問を調査した。
  論文  参考訳（メタデータ） (2026-04-15T14:10:58Z)
• L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification [2.8947246722205695]
  本稿では, BERT 分類器が LLM に優先すべき時期を学習するフレームワークであるL2D-Clinical について紹介する。 従来のL2Dの手法では、人間の専門家にとってより優れていると思われていたのに対し、我々の手法は適応的な遅延改善の精度を実現している。
  論文  参考訳（メタデータ） (2026-04-14T20:23:45Z)
• Budget-Sensitive Discovery Scoring: A Formally Verified Framework for Evaluating AI-Guided Scientific Selection [0.0]
  Budget-Sensitive Discovery Score (BSDS)は、各予算レベルで誤った発見を罰する。 Discovery Quality Score (DQS)は、チェリーピックされた予算でうまく機能することで、プロジェクタがインフレできないような、単一のサマリー統計を提供する。 フレームワークは、候補が予算制約と非対称なエラーコストの下で選択される任意の設定に適用されます。
  論文  参考訳（メタデータ） (2026-03-12T18:09:53Z)
• References Improve LLM Alignment in Non-Verifiable Domains [118.26447686644808]
  基準誘導型LCM評価器がソフトな「検証器」として機能することでギャップを埋められるか検討する。 基準誘導手法は,フロンティアモデルからの参照を用いて,低能力のLCMジャッジの精度を大幅に向上することを示す。 基準誘導自己改善は、基準出力に対する直接SFTと基準自由判断による自己改善の両方に対して明らかな利得が得られることを示す。
  論文  参考訳（メタデータ） (2026-02-18T19:03:34Z)
• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• Automatic Posology Structuration : What role for LLMs? [1.0445560141983634]
  自由文ポソジを構造化形式に変換するために,Large Language Models (LLM) の利用について検討する。 提案手法は,性能向上に寄与するが,ベースラインの精度は微調整LLMのみである。 そこで我々は,NERL から LLM へ低信頼度ケースをルーティングし,信頼度スコアに基づいて出力を選択するハイブリッドパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-06-24T11:25:21Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Style Outweighs Substance: Failure Modes of LLM Judges in Alignment Benchmarking [56.275521022148794]
  ポストトレーニング法は、人間のペアワイズ選好とのより良い対応により、優れたアライメントを主張する。 LLM-judgeの好みは、アライメントのためのより具体的なメトリクスの進捗に変換されますか、そうでなければ、なぜそうでないのでしょうか? その結果,(1) LLM-judge の嗜好は,安全性,世界知識,指導の具体的な尺度と相関せず,(2) LLM-judge の暗黙バイアスが強く,事実性や安全性よりもスタイルを優先し,(3) POステージではなく,訓練後の微調整段階がアライメントに最も影響していることが判明した。
  論文  参考訳（メタデータ） (2024-09-23T17:58:07Z)
• OR-Bench: An Over-Refusal Benchmark for Large Language Models [65.34666117785179]
  大きな言語モデル(LLM)は、悪意のある出力を防ぐために慎重に安全アライメントを必要とする。 本研究では,大規模なオーバーリファレンスデータセットの自動生成手法を提案する。 OR-Benchは,最初の大規模オーバーリファレンスベンチマークである。
  論文  参考訳（メタデータ） (2024-05-31T15:44:33Z)
• Edinburgh Clinical NLP at MEDIQA-CORR 2024: Guiding Large Language Models with Hints [8.547853819087043]
  複数のプロンプト戦略を用いて医学的誤りを識別・修正する一般LSMの能力を評価する。 より小さな微調整モデルからエラースパン予測を2つの方法で組み込むことを提案する。 8ショット+CoT + ヒントによる最高のパフォーマンスのソリューションは、共有タスクのリーダーボードで6位です。
  論文  参考訳（メタデータ） (2024-05-28T10:20:29Z)
• Extracting Social Support and Social Isolation Information from Clinical Psychiatry Notes: Comparing a Rule-based NLP System and a Large Language Model [28.806204617884898]
  社会的支援と社会的孤立は健康の社会的決定要因である。 マウント・シナイ・ヘルス・システムとウェル・コーネル・メディカルの精神医学的出会いノートに注釈が付され、ゴールド・スタンダード・コーパスが確立された。 FLAN-T5-XLを用いたレキシコンと大規模言語モデル(LLM)を用いたルールベースシステム(RBS)を開発した。
  論文  参考訳（メタデータ） (2024-03-25T21:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。