論文の概要: End-to-End Evaluation and Governance of an EHR-Embedded AI Agent for Clinicians
- arxiv url: http://arxiv.org/abs/2604.27309v1
- Date: Thu, 30 Apr 2026 01:45:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.869913
- Title: End-to-End Evaluation and Governance of an EHR-Embedded AI Agent for Clinicians
- Title(参考訳): EHRを組み込んだ臨床用AIエージェントのエンド・ツー・エンド評価とガバナンス
- Abstract要約: このフレームワークは、バリデーション、ライブデプロイメントフィードバック、技術的パフォーマンス監視、コストトラッキングを統合している。
20人の臨床医が823件に1,646件の試薬を提出した。
結果は、デプロイされた臨床AIの継続的なマルチチャネルガバナンスは達成可能かつ効果的であることを示している。
- 参考スコア(独自算出の注目度): 3.018184429993625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical AI systems require not just point-in-time evaluation but continuous governance: the ongoing practice of monitoring, evaluating, iterating, and re-evaluating performance throughout deployment. We present an end-to-end framework of governance that integrates rubric validation, live deployment feedback, technical performance monitoring, and cost tracking, with controlled experimentation gating system changes before deployment. Applied to Hyperscribe, an EHR-embedded agent that converts ambient audio into structured chart updates, twenty clinicians authored 1,646 validated rubrics across 823 cases. Seven Hyperscribe versions were evaluated through controlled experiments, with median scores improving from 84% to 95%. Analysis of 107 live feedback entries over three months showed feedback composition shifting from 79% error reports and 14% positive observations to 30% errors and 45% positive observations as engineering interventions resolved failures. Median processing time per audio segment was 8.1 seconds with a 99.6% effective completion rate after retry mechanisms absorbed transient model errors. These results demonstrate that continuous, multi-channel governance of deployed clinical AI is both achievable and effective.
- Abstract(参考訳): 臨床AIシステムは、ポイントインタイムの評価だけでなく、継続的ガバナンスも必要である。
本稿では,ルーブリック検証,ライブデプロイメントフィードバック,技術的パフォーマンス監視,コストトラッキングを統合したエンドツーエンドのガバナンスフレームワークを提案する。
環境音を構造化されたチャートに変換するEHR組み込みエージェントであるHyperscribeに応用すると、20人の臨床医が823件で1,646件の検証済みルーリックを作成した。
7つのHyperscribeバージョンをコントロール実験により評価し,中央値が84%から95%に改善した。
3ヶ月にわたる107件のライブフィードバックエントリの分析では、フィードバック構成が79%のエラーレポートと14%のポジティブな観察から30%のエラー、45%のポジティブな観察へとシフトし、エンジニアリングの介入が失敗を解決した。
音声セグメントあたりのメディア処理時間は8.1秒であり、再試行機構が過渡的モデル誤差を吸収した後は99.6%の有効完了率であった。
これらの結果は、デプロイされた臨床AIの継続的なマルチチャネルガバナンスは達成可能かつ効果的であることを示している。
関連論文リスト
- Pedagogical AI in Mental Health: A Tri-Stream Fine-Tuned LLM Framework for Automated Clinical Supervision and Risk Triage [0.8683011785637821]
現代の精神医療は、上級監督官の監督が極めて不足している。
本稿では,微調整されたMistral-7Bインストラクタモデルを自動化された「スーパーバイザ・イン・ザ・ループ」システムとして活用する新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2026-08-19T02:10:15Z) - ResidencyRL: Reinforcement Learning in Simulated Clinical Environments [53.76751756107077]
臨床人工知能(AI)エージェントを模擬多ターン臨床で訓練するための強化学習(RL)手法であるResidencyRLを提案する。
ホールドアウト評価では、ResidencyRLエージェントは、対向条件下で診断精度を7.0%向上させる。
盲目の専門医はこれらの利得を検証し、訓練されたエージェントをサイドバイサイド比較の87.6%で好んだ。
論文 参考訳(メタデータ) (2026-08-07T17:04:41Z) - Enhancing Clinician Decision-Making via Uncertainty-Aware Multi-Expert Fusion for Stroke Rehabilitation [0.32553561239735207]
臨床的判断に取って代わるのではなく、拡張するように設計されたエンジンであるxAARAを提示する。
xAARAは、タスク、ムーブメントフェーズ、ムーブメント品質のレベルを越えて、キャリブレーションされた不確実性と説明でARATアセスメントを返します。
105回のストロークサバイバー(788回の運動)では、xAARAは94.2%のタスク精度と81.3%の移動位相精度を達成した。
論文 参考訳(メタデータ) (2026-06-23T09:00:15Z) - Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models [0.00304396936267654]
大規模言語モデルは、手続き的コンプライアンスが重要である領域において、自信はあるがプロトコル非有意義な答えを生み出すことができる。
本稿では,決定論的ランタイムおよびオーサリング層であるAnswer Engineeringについて述べる。
本手法は,突発性感音難聴に対する臨床評価基準を用いて評価した。
論文 参考訳(メタデータ) (2026-06-19T05:47:44Z) - A Breast Vision Pathology Foundation Model for Real-world Clinical Utility [65.57568187389113]
a bfBRAVE, a breast-adaptive pathology foundation model developed and evaluation using a total resources of 101,638 breast wholeslide images。
臨床ワークフローにおけるBRAVEの実践的役割は、通常のAI支援による第2レビューから低リスクのケースを安全に排除すること、そしてさらなる評価のためのケースの優先順位付けなどである。
論文 参考訳(メタデータ) (2026-05-06T07:44:39Z) - A Proactive EMR Assistant for Doctor-Patient Dialogue: Streaming ASR, Belief Stabilization, and Preliminary Controlled Evaluation [4.321699303483216]
本稿では, ストリーム音声認識, 句読取復元, ステートフル抽出, 信念安定化, 客観的検索, 行動計画, リプレイ可能なレポート生成を中心に, エンドツーエンドの能動型EMRアシスタントを提案する。
全システムは0.84のステートイベントF1、0.87のリコール@5、83.3%のカバー、81.4%の構造化、完全性、80.0%のリスクリコールに到達している。
論文 参考訳(メタデータ) (2026-03-18T05:54:01Z) - CentaurTA Studio: A Self-Improving Human-Agent Collaboration System for Thematic Analysis [3.8837035821549475]
textbfCentaurTA Studioは、オープンコーディングとテーマ構築において、自己改善されたヒューマンエージェントコラボレーションのためのWebベースのシステムである。
CentaurTA は Open Coding と Theme Construction で最強のパフォーマンスを達成し、92.12% の精度に達した。
論文 参考訳(メタデータ) (2026-03-18T02:01:28Z) - Optimization Instability in Autonomous Agentic Workflows for Clinical Symptom Detection [3.0950658457067433]
自律的改善の継続がパラドックス的に分類器の性能を低下させる現象について検討する。
検証感度はイテレーション毎に1.0から0.0の間で変動し,重度はクラス有病率に逆比例することがわかった。
セレクターエージェントの監視により、システムは専門家による脳霧検出のレキシコンを331%(F1)、胸痛を7%改善した。
論文 参考訳(メタデータ) (2026-02-17T21:45:20Z) - Solver-in-the-Loop: MDP-Based Benchmarks for Self-Correction and Behavioral Rationality in Operations Research [19.31559944205485]
運用 調査実践者は反復的なプロセスを通じて、不可能なモデルを日常的にデバッグする。
評価ループにtextbfsolver を配置するベンチマークを2つ導入する。
ドメイン固有のRLVRトレーニングによって、8BモデルがフロンティアAPIを越えられることが分かりました。
論文 参考訳(メタデータ) (2026-01-28T20:02:44Z) - AI, Metacognition, and the Verification Bottleneck: A Three-Wave Longitudinal Study of Human Problem-Solving [0.0]
このパイロット研究は、AIが学術的な環境での6ヶ月にわたる問題解決にどのように影響するかを追跡した。
結果は、主にアーリーアドプター、学術関連集団に一般化される。
論文 参考訳(メタデータ) (2026-01-21T15:49:04Z) - A DeepSeek-Powered AI System for Automated Chest Radiograph Interpretation in Clinical Practice [83.11942224668127]
Janus-Pro-CXR (1B) はDeepSeek Janus-Proモデルに基づく胸部X線解釈システムである。
本システムは, 自動レポート生成において, 最先端のX線レポート生成モデルより優れる。
論文 参考訳(メタデータ) (2025-12-23T13:26:13Z) - DispatchMAS: Fusing taxonomy and artificial intelligence agents for emergency medical services [49.70819009392778]
大規模言語モデル (LLM) とマルチエージェントシステム (MAS) は、ディスパッチを増強する機会を提供する。
本研究の目的は,現実的なシナリオをシミュレートする分類基盤型マルチエージェントシステムの開発と評価である。
論文 参考訳(メタデータ) (2025-10-24T08:01:21Z) - Real-world Deployment and Evaluation of PErioperative AI CHatbot (PEACH) -- a Large Language Model Chatbot for Perioperative Medicine [2.0497272891338536]
大規模言語モデル(LLM)は、特に複雑なドメイン固有のタスクのために、医療において強力なツールとして登場しています。
本研究では,PEACH(PEACH:PErioperative AI atbot)の開発と評価について述べる。
論文 参考訳(メタデータ) (2024-12-24T02:14:13Z) - Autonomous Evaluation and Refinement of Digital Agents [57.12281122337407]
ドメイン汎用自動評価器は,Webナビゲーションやデバイス制御のためのエージェントの性能を大幅に向上させることができることを示す。
我々は、これらのモデルの性能をいくつかの一般的なデジタルエージェントのベンチマークで検証し、オラクル評価指標との74.4から92.9%の一致を見出した。
論文 参考訳(メタデータ) (2024-04-09T17:25:47Z) - Exploring linguistic feature and model combination for speech
recognition based automatic AD detection [61.91708957996086]
音声ベースの自動ADスクリーニングシステムは、他の臨床スクリーニング技術に代わる非侵襲的でスケーラブルな代替手段を提供する。
専門的なデータの収集は、そのようなシステムを開発する際に、モデル選択と特徴学習の両方に不確実性をもたらす。
本稿では,BERT と Roberta の事前学習したテキストエンコーダのドメイン微調整の堅牢性向上のための特徴とモデルの組み合わせ手法について検討する。
論文 参考訳(メタデータ) (2022-06-28T05:09:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。