論文の概要: Ninety-Six Ways to Measure a Scribe: Fragmented Evaluation of Ambient Scribes in Healthcare
- arxiv url: http://arxiv.org/abs/2611.14284v2
- Date: Wed, 11 Nov 2026 20:54:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.914685
- Title: Ninety-Six Ways to Measure a Scribe: Fragmented Evaluation of Ambient Scribes in Healthcare
- Title(参考訳): 産婦人科領域における産婦人科領域の実態調査 : 第9報 産婦人科領域における産婦人科領域の実態調査
- Abstract要約: アンビエント人工知能(AI)の書記者は、実験的なパイロットから、健康システム全体にわたる企業全体の展開へと急速に移行してきた。
パフォーマンスを評価するための合意されたプロトコルや標準化されたメトリクスはありません。
本稿では、医療環境における環境AIの属性を評価するためによく使用される設計、データソース、メトリクスについてレビューする。
- 参考スコア(独自算出の注目度): 2.9605260058551917
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Ambient artificial intelligence (AI) scribes have moved rapidly from experimental pilots to enterprise-wide deployment across health systems, promising reduced documentation burden and improved clinician experience. While research evaluating these tools has expanded quickly, there are no agreed-upon protocols or standardized metrics for assessing their performance, making it difficult to compare findings or cumulatively synthesize evidence across studies. Across 54 recent evaluation studies, we identify ten evaluation dimensions and 40 distinct metrics, operationalized in 96 different ways-35 of them (36%) used by only a single study. Assessment is dominated by documentation efficiency and time, measured in 44 of 54 studies. The other dimensions appear at broadly similar rates (16-24 studies each), and safety and clinical outcome least consistently of all. Ripple effects on the broader care system, such as impact on patients' care outcomes, redistribution of work, changes in billing and coding intensity, and downstream use of notes by other clinicians are rarely assessed. Moreover, the metrics used rely heavily on self-report and are fragmented and inconsistently operationalized, which limits comparability and hinders synthesis across studies. As an effort to support more rigorous and cumulative evaluation, in this paper we review the study designs, data sources, and metrics commonly used to evaluate ambient AI scribes in healthcare settings, discuss the limitations of current evaluation practice, and argue for a more holistic approach grounded in a standardized, multi-dimensional set of metrics.
- Abstract(参考訳): アンビエント人工知能(AI)の書記者は、実験的なパイロットから、医療システム全体にわたる企業全体の展開へと急速に移行し、ドキュメントの負担を減らし、臨床医の体験を改善している。
これらのツールを評価する研究は急速に拡大しているが、それらのパフォーマンスを評価するための合意されたプロトコルや標準化されたメトリクスは存在せず、その結果を比較したり、研究全体で証拠を累積的に合成することは困難である。
最近の54つの評価研究で、96の異なる方法で運用された10の評価次元と40の異なるメトリクスを特定し、そのうち36%が1つの研究でしか使われていない。
評価は54研究のうち44研究で測定されたドキュメントの効率と時間によって支配されている。
その他の次元は、それぞれ16-24の研究で大きく類似しており、安全性と臨床結果がほぼ一定である。
患者のケア結果への影響、仕事の再分配、請求やコーディングの強度の変化、他の臨床医による下流でのノートの使用など、より広範なケアシステムへの波及効果はめったに評価されない。
さらに、使用されるメトリクスは自己報告に大きく依存しており、断片化され、一貫性のない運用がなされているため、可視性を制限し、研究全体での合成を妨げる。
本稿では、より厳密で累積的な評価を支援するために、医療環境における環境AIの属性を評価するためによく使用される設計、データソース、メトリクスについてレビューし、現在の評価プラクティスの限界について議論し、標準化された多次元のメトリクスセットに基礎を置くより包括的なアプローチについて議論する。
関連論文リスト
- Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。
ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。
MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
論文 参考訳(メタデータ) (2026-06-03T17:17:16Z) - QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models [8.050059911826338]
LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。
実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
論文 参考訳(メタデータ) (2026-03-14T01:51:43Z) - DocLens: Multi-aspect Fine-grained Evaluation for Medical Text Generation [37.58514130165496]
本稿では, 医療用テキストの完全性, 簡潔性, 帰属性を評価するための指標セットを提案する。
メトリクスは、インストラクションフォロー(プロプライエタリとオープンソースの両方)や教師付きエンタテインメントモデルなど、さまざまなタイプの評価者によって計算できる。
総合的な人間の研究によると、DocLensは既存の指標よりも医療専門家の判断とかなり高い一致を示している。
論文 参考訳(メタデータ) (2023-11-16T05:32:09Z) - An Investigation of Evaluation Metrics for Automated Medical Note
Generation [5.094623170336122]
医療談話から臨床メモの自動生成のための評価方法と指標について検討した。
自動計測値と手動判定値の相関性を検討するために,システムと参照事実を比較して,自動メモ・要約の評価を行った。
論文 参考訳(メタデータ) (2023-05-27T04:34:58Z) - Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
本稿では,Re$3$Writer法を提案する。
本手法が患者の退院指示生成に有効であることを示す。
論文 参考訳(メタデータ) (2022-10-23T16:34:39Z) - Evaluating generative audio systems and their metrics [80.97828572629093]
本報告では,従来提案されていた音声再建のための目標尺度のセットと,聴取研究を併用して,最先端のアプローチについて検討する。
その結果、現在使われている客観的指標は、現在のシステムの知覚的品質を記述するのに不十分であることが示唆された。
論文 参考訳(メタデータ) (2022-08-31T21:48:34Z) - Human Evaluation and Correlation with Automatic Metrics in Consultation
Note Generation [56.25869366777579]
近年,機械学習モデルによる臨床相談ノートの作成が急速に進んでいる。
5人の臨床医が57件のモック・コンサルテーションを聴き、自作のノートを書き、自動的に生成されたノートを編集し、全てのエラーを抽出する、広範囲にわたる人的評価研究を行った。
単純な文字ベースのLevenshtein距離測定は、BertScoreのような一般的なモデルベースの測定値に比較して、同等に動作します。
論文 参考訳(メタデータ) (2022-04-01T14:04:16Z) - A Systematic Review of Natural Language Processing Applied to Radiology
Reports [3.600747505433814]
本研究は, 放射線学報告に応用されたNLPの最近の文献を体系的に評価する。
本研究は, 放射線学的特徴, nlp法, 性能, 研究, 臨床応用特性を含む21の変数に基づく。
論文 参考訳(メタデータ) (2021-02-18T18:54:41Z) - Generalization Bounds and Representation Learning for Estimation of
Potential Outcomes and Causal Effects [61.03579766573421]
代替薬に対する患者一人の反応など,個人レベルの因果効果の推定について検討した。
我々は,表現の誘導的処理群距離を正規化することにより,境界を最小化する表現学習アルゴリズムを考案した。
これらのアルゴリズムを拡張して、重み付き表現を同時に学習し、治療群距離をさらに削減する。
論文 参考訳(メタデータ) (2020-01-21T10:16:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。