論文の概要: Adoption and Use of LLMs at an Academic Medical Center

• arxiv url: http://arxiv.org/abs/2602.00074v1
• Date: Wed, 21 Jan 2026 01:43:57 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-02-08 13:03:50.90883
• Title: Adoption and Use of LLMs at an Academic Medical Center
• Title（参考訳）: アカデミックメディカルセンターにおけるLCMの採用と活用
• Authors: Nigam H. Shah, Nerissa Ambers, Abby Pandya, Timothy Keyes, Juan M. Banda, Srikar Nallan, Carlene Lugtu, Artem A. Trotsyuk, Suhana Bedi, Alyssa Unell, Miguel Fuentes, Francois Grolleau, Sneha S. Jain, Jonathan Chen, Devdutta Dash, Danton Char, Aditya Sharma, Duncan McElfresh, Patrick Scully, Vishanthan Kumar, Connor OBrien, Satchi Mouniswamy, Elvis Jones, Krishna Jasti, Gunavathi Mannika Lakshmanan, Sree Ram Akula, Varun Kumar Singh, Ramesh Rajmanickam, Sudhir Sinha, Vicky Zhou, Xu Wang, Bilal Mawji, Joshua Ge, Wencheng Li, Travis Lyons, Jarrod Helzer, Vikas Kakkar, Ramesh Powar, Darren Batara, Cheryl Cordova, William Frederick, Olivia Tang, Phoebe Morgan, April S. Liang, Stephen P. Ma, Shivam Vedak, Dong-han Yao, Akshay Swaminathan, Mehr Kashyap, Brian Ng, Jamie Hellman, Nikesh Kotecha, Christopher Sharp, Gretchen Brown, Christian Lindmark, Anurang Revri, Michael A. Pfeffer,
• Abstract要約: ChatEHRは、大規模言語モデル(LLM)の使用を可能にするシステムである。 私たちは7つの自動化を開発し、1075人のユーザがUIの定期的なユーザになるように訓練し、ローンチの最初の3ヶ月で23,000のセッションに従事しました。 当初の推計では、最初の1年間に600万ドルを節約し、提供されたより良いケアのメリットを定量化していない。
• 参考スコア（独自算出の注目度）: 7.131448284863862
• License:
• Abstract: While large language models (LLMs) can support clinical documentation needs, standalone tools struggle with "workflow friction" from manual data entry. We developed ChatEHR, a system that enables the use of LLMs with the entire patient timeline spanning several years. ChatEHR enables automations - which are static combinations of prompts and data that perform a fixed task - and interactive use in the electronic health record (EHR) via a user interface (UI). The resulting ability to sift through patient medical records for diverse use-cases such as pre-visit chart review, screening for transfer eligibility, monitoring for surgical site infections, and chart abstraction, redefines LLM use as an institutional capability. This system, accessible after user-training, enables continuous monitoring and evaluation of LLM use. In 1.5 years, we built 7 automations and 1075 users have trained to become routine users of the UI, engaging in 23,000 sessions in the first 3 months of launch. For automations, being model-agnostic and accessing multiple types of data was essential for matching specific clinical or administrative tasks with the most appropriate LLM. Benchmark-based evaluations proved insufficient for monitoring and evaluation of the UI, requiring new methods to monitor performance. Generation of summaries was the most frequent task in the UI, with an estimated 0.73 hallucinations and 1.60 inaccuracies per generation. The resulting mix of cost savings, time savings, and revenue growth required a value assessment framework to prioritize work as well as quantify the impact of using LLMs. Initial estimates are $6M savings in the first year of use, without quantifying the benefit of the better care offered. Such a "build-from-within" strategy provides an opportunity for health systems to maintain agency via a vendor-agnostic, internally governed LLM platform.
• Abstract（参考訳）: 大きな言語モデル(LLM)は臨床ドキュメントのニーズをサポートするが、スタンドアロンツールは手動のデータ入力から"ワークフロー摩擦"に悩まされる。 そこで我々は,数年にわたる患者のタイムライン全体でLLMの使用を可能にするシステムChatEHRを開発した。 ChatEHRは、固定タスクを実行するプロンプトとデータの静的な組み合わせである自動化と、ユーザインターフェース(UI)を介してEHR(Electronic Health Record)でインタラクティブな使用を可能にする。 その結果、患者の医療記録を閲覧前チャートのレビュー、転送適性検査、外科的部位感染症のモニタリング、チャートの抽象化など、さまざまなユースケースで活用できるようになり、LSMを制度的な能力として再定義する。 このシステムは、ユーザトレーニング後にアクセス可能であり、連続的なモニタリングとLLM使用の評価を可能にする。 1.5年間に7つの自動化システムを構築し、1075のユーザがUIの定期的なユーザになるように訓練し、ローンチから3ヶ月で23,000のセッションに従事しました。 自動化のためには、特定の臨床または管理業務と最も適切なLLMとをマッチングするために、モデルに依存しない複数のデータにアクセスすることが不可欠であった。 ベンチマークベースの評価では、UIの監視と評価には不十分であることが証明され、パフォーマンスを監視する新しい方法が必要になった。 要約の生成はUIで最も頻繁に行われ、推定0.73の幻覚と1世代あたり1.60の不正確な不正確さがある。 その結果、コスト削減、時間節約、収益成長の混合は、作業の優先順位付けとLLMの使用の影響の定量化のための価値評価フレームワークを必要とした。 当初の推計では、最初の1年間に600万ドルを節約し、提供されたより良いケアのメリットを定量化していない。 このような "build-from-within" 戦略は、ベンダーに依存しない内部的に管理されるLSMプラットフォームを通じて、医療システムがエージェンシーを維持する機会を提供する。

関連論文リスト

• AutoMetrics: Approximate Human Judgements with Automatically Generated Evaluators [57.003100107659684]
  AutoMetricsは、低データ制約下で評価メトリクスを合成するためのフレームワークである。 AutoMetricsは、同等の効果を検証可能な報酬として、プロキシ報酬として使用できることを示す。
  論文  参考訳（メタデータ） (2025-12-19T06:32:46Z)
• From Staff Messages to Actionable Insights: A Multi-Stage LLM Classification Framework for Healthcare Analytics [0.0]
  本稿では、スタッフのメッセージトピックを特定し、メッセージの理由を多種多様な方法で分類するフレームワークを提案する。 最高の性能モデルはO3で、78.4%の重み付きF1スコアと79.2%の精度を実現した。 提案手法は,医療環境に不可欠なデータセキュリティ対策とHIPAAコンプライアンス要件を取り入れたものである。
  論文  参考訳（メタデータ） (2025-09-05T20:15:52Z)
• MedAgentBench: A Realistic Virtual EHR Environment to Benchmark Medical LLM Agents [20.96732566767587]
  最近の大規模言語モデル(LLM)は、特にエージェントとして機能する能力において顕著な進歩を見せている。 MedAgentBenchは、医療記録コンテキストにおける大規模言語モデルのエージェント能力を評価するために設計された幅広い評価スイートである。 環境は、現代のEMRシステムで使用される標準的なAPIと通信インフラを使用するため、ライブのEMRシステムに容易に移行できる。
  論文  参考訳（メタデータ） (2025-01-24T17:21:01Z)
• Question Answering on Patient Medical Records with Private Fine-Tuned LLMs [1.8524621910043437]
  大規模言語モデル(LLM)は、医療データに対する意味的質問応答(QA)を可能にする。 プライバシとコンプライアンスを保証するには、LLMのエッジとプライベートのデプロイメントが必要です。 GPT-4 や GPT-4o などのベンチマークモデルに対して,プライベートホスト型,微調整型 LLM の評価を行った。
  論文  参考訳（メタデータ） (2025-01-23T14:13:56Z)
• Re-evaluating Automatic LLM System Ranking for Alignment with Human Preference [63.03859517284341]
  自動評価フレームワークは、人間の嗜好との整合性に基づいてLLMをランク付けすることを目的としている。 自動LLMベンチラは、入力セット、評価モデル、評価タイプ、集約方法の4つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-12-31T17:46:51Z)
• Leveraging Large Language Models for Medical Information Extraction and Query Generation [2.1793134762413433]
  本稿では,大言語モデル(LLM)を臨床試験検索プロセスに統合するシステムを提案する。 クエリ生成には6つのLCMを評価し,最小限の計算資源を必要とする,オープンソースと比較的小さなモデルに着目した。
  論文  参考訳（メタデータ） (2024-10-31T12:01:51Z)
• An Efficient Contrastive Unimodal Pretraining Method for EHR Time Series Data [35.943089444017666]
  本稿では,長期臨床経過データに適した比較事前学習法を提案する。 本モデルでは, 臨床医が患者の症状についてより深い知見を得られるように, 欠損測定をインプットする能力を示す。
  論文  参考訳（メタデータ） (2024-10-11T19:05:25Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• Redefining Digital Health Interfaces with Large Language Models [69.02059202720073]
  大規模言語モデル(LLM)は、複雑な情報を処理できる汎用モデルとして登場した。 LLMが臨床医とデジタル技術との新たなインターフェースを提供する方法を示す。 自動機械学習を用いた新しい予後ツールを開発した。
  論文  参考訳（メタデータ） (2023-10-05T14:18:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。