論文の概要: EPPCMinerBen: A Novel Benchmark for Evaluating Large Language Models on Electronic Patient-Provider Communication via the Patient Portal

• arxiv url: http://arxiv.org/abs/2603.00028v1
• Date: Wed, 04 Feb 2026 04:41:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:07.974228
• Title: EPPCMinerBen: A Novel Benchmark for Evaluating Large Language Models on Electronic Patient-Provider Communication via the Patient Portal
• Title（参考訳）: EPPCMinerBen:患者ポータルによる電子的患者提供者コミュニケーションにおける大規模言語モデル評価のための新しいベンチマーク
• Authors: Samah Fodeh, Yan Wang, Linhai Ma, Srivani Talakokkul, Jordan M. Alpert, Sarah Schellhorn,
• Abstract要約: 本稿では,EPPC(Electronic patient-communication)データを解析するためのベンチマークであるEPPCMinerBenを紹介する。 EPPCMinerBenには、コード分類、サブコード分類、エビデンス抽出の3つのサブタスクが含まれている。 イェール・ニューヘイブン病院(Yale New Haven Hospital)の患者ポータルの752通のセキュアなメッセージから,1,933通の専門家注釈文を用いて,コミュニケーション意図と支援テキストの識別に関するLCMを評価した。
• 参考スコア（独自算出の注目度）: 3.045013061022589
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective communication in health care is critical for treatment outcomes and adherence. With patient-provider exchanges shifting to secure messaging, analyzing electronic patient-communication (EPPC) data is both essential and challenging. We introduce EPPCMinerBen, a benchmark for evaluating LLMs in detecting communication patterns and extracting insights from electronic patient-provider messages. EPPCMinerBen includes three sub-tasks: Code Classification, Subcode Classification, and Evidence Extraction. Using 1,933 expert annotated sentences from 752 secure messages of the patient portal at Yale New Haven Hospital, it evaluates LLMs on identifying communicative intent and supportive text. Benchmarks span various LLMs under zero-shot and few-shot settings, with data to be released via the NCI Cancer Data Service. Model performance varied across tasks and settings. Llama-3.1-70B led in evidence extraction (F1: 82.84%) and performed well in classification. Llama-3.3-70b-Instruct outperformed all models in code classification (F1: 67.03%). DeepSeek-R1-Distill-Qwen-32B excelled in subcode classification (F1: 48.25%), while sdoh-llama-3-70B showed consistent performance. Smaller models underperformed, especially in subcode classification (>30% F1). Few-shot prompting improved most tasks. Our results show that large, instruction-tuned models generally perform better in EPPCMinerBen tasks, particularly evidence extraction while smaller models struggle with fine-grained reasoning. EPPCMinerBen provides a benchmark for discourse-level understanding, supporting future work on model generalization and patient-provider communication analysis. Keywords: Electronic Patient-Provider Communication, Large language models, Data collection, Prompt engineering
• Abstract（参考訳）: 医療における効果的なコミュニケーションは、治療の成果と順守に不可欠である。 患者と患者との交換がセキュアなメッセージングへと移行する中で、電子的患者コミュニケーション(EPPC)データを解析することは不可欠かつ困難である。 本稿では,コミュニケーションパターンの検出と,患者の電子的メッセージからの洞察抽出におけるLCMの評価を行うベンチマークEPPCMinerBenを紹介する。 EPPCMinerBenには、コード分類、サブコード分類、エビデンス抽出の3つのサブタスクが含まれている。 イェール・ニューヘイブン病院(Yale New Haven Hospital)の患者ポータルの752通のセキュアなメッセージから,1,933通の専門家注釈文を用いて,コミュニケーション意図と支援テキストの識別に関するLCMを評価した。 ベンチマークはゼロショットと少数ショット設定の下で様々なLLMにまたがっており、データはNCI Cancer Data Service経由でリリースされる。 モデルの性能はタスクや設定によって異なる。 Llama-3.1-70Bは証拠抽出(F1:82.84%)に成功し、分類も良好であった。 Llama-3.3-70b-Instructはコード分類における全てのモデル(F1:67.03%)を上回った。 DeepSeek-R1-Distill-Qwen-32Bはサブコード分類に優れ(F1: 48.25%)、sdoh-llama-3-70Bは一貫した性能を示した。 より小さなモデルでは、特にサブコード分類(30% F1)では性能が低かった。 ショットプロンプトがほとんどのタスクを改善した。 この結果から,EPPCMinerBenタスクでは,特にエビデンス抽出の精度が向上する一方,より小さなモデルでは詳細な推論が困難であることが示唆された。 EPPCMinerBenは、談話レベルの理解のためのベンチマークを提供する。 キーワード:Electronic patient-Provider Communication, Large Language Model, Data Collection, Prompt Engineering

関連論文リスト

• PVminer: A Domain-Specific Tool to Detect the Patient Voice in Patient Generated Data [2.6791290096531455]
  本稿では,患者音声をセキュアに構築するためのNLPフレームワークであるPVminerを紹介する。 PVminerは、患者固有のBERTエンコーダを統合するマルチラベル・マルチクラス予測タスクとしてPV検出を定式化する。 PVminerは階層的なタスクにまたがって強いパフォーマンスを達成し、バイオメディカルおよび臨床訓練済みのベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-24T18:10:00Z)
• Enhancing the Medical Context-Awareness Ability of LLMs via Multifaceted Self-Refinement Learning [49.559151128219725]
  大規模言語モデル(LLM)は医療分野で大きな可能性を示しており、いくつかのベンチマークで高いパフォーマンスを実現している。 しかし、実際の医療シナリオではパフォーマンスが低下し続けており、コンテキスト認識の強化が要求されることが多い。 データ駆動型アプローチであるMultifaceted Self-Refinement (MuSeR)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T08:13:23Z)
• DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
  大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。 本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
  論文  参考訳（メタデータ） (2025-10-24T08:01:21Z)
• MaLei at MultiClinSUM: Summarisation of Clinical Documents using Perspective-Aware Iterative Self-Prompting with LLMs [5.40185721303932]
  本稿では,MultiClinSUM共有タスクにおける臨床事例文書の要約手法について述べる。 我々はLLMにタスク固有のプロンプトを生成するよう依頼することで,大規模言語モデル(LLM)に反復的自己プロンプト手法を適用した。 語彙と埋め込み空間のメトリクスであるROUGEとBERTスコアを用いて、エポックによるモデル微調整をガイドした。
  論文  参考訳（メタデータ） (2025-09-09T11:52:16Z)
• From Staff Messages to Actionable Insights: A Multi-Stage LLM Classification Framework for Healthcare Analytics [0.0]
  本稿では、スタッフのメッセージトピックを特定し、メッセージの理由を多種多様な方法で分類するフレームワークを提案する。 最高の性能モデルはO3で、78.4%の重み付きF1スコアと79.2%の精度を実現した。 提案手法は,医療環境に不可欠なデータセキュリティ対策とHIPAAコンプライアンス要件を取り入れたものである。
  論文  参考訳（メタデータ） (2025-09-05T20:15:52Z)
• Benchmarking Open-Source Large Language Models on Healthcare Text Classification Tasks [2.7729041396205014]
  本研究では,オープンソースの5つの大言語モデル(LLM)の分類性能を評価する。 全てのモデルとタスクの組み合わせに対して、95%の信頼区間を有する精度、リコール、F1スコアを報告する。
  論文  参考訳（メタデータ） (2025-03-19T12:51:52Z)
• Enhanced Electronic Health Records Text Summarization Using Large Language Models [0.0]
  このプロジェクトは、臨床が優先する、焦点を絞った要約を生成するシステムを作成することで、以前の作業の上に構築される。 提案システムでは,Flan-T5モデルを用いて,臨床専門のトピックに基づいた調整されたERHサマリーを生成する。
  論文  参考訳（メタデータ） (2024-10-12T19:36:41Z)
• MedAlign: A Clinician-Generated Dataset for Instruction Following with Electronic Medical Records [60.35217378132709]
  大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。 医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。 我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
  論文  参考訳（メタデータ） (2023-08-27T12:24:39Z)
• Few-Shot Cross-lingual Transfer for Coarse-grained De-identification of Code-Mixed Clinical Texts [56.72488923420374]
  事前学習型言語モデル (LM) は低リソース環境下での言語間移動に大きな可能性を示している。 脳卒中におけるコードミキシング(スペイン・カタラン)臨床ノートの低リソース・実世界の課題を解決するために,NER (name recognition) のためのLMの多言語間転写特性を示す。
  論文  参考訳（メタデータ） (2022-04-10T21:46:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。