論文の概要: Evaluating Ambient Clinical Scribes in India: The Need for Multilingual Real-World Clinical Conversation Data
- arxiv url: http://arxiv.org/abs/2609.17355v1
- Date: Tue, 15 Sep 2026 15:52:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.611534
- Title: Evaluating Ambient Clinical Scribes in India: The Need for Multilingual Real-World Clinical Conversation Data
- Title(参考訳): インドにおける外来クリニカル・スクリーブの評価 : 多言語実世界のクリニカル・会話データの必要性
- Abstract要約: アンビエント・クリニカル・スクリプティング(ACS)は、グローバル・サウスの医療環境にまたがって急速に展開されている。
これらのACSは、主にグローバルノースのスピーチ、言語、コンサルティングスタイルに基づいて構築され、検証されたモデルから開発または蒸留される。
インドの臨床は簡潔で三進的、多言語で、低リソース言語と混在している。
- 参考スコア(独自算出の注目度): 15.334108772901311
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ambient clinical scribes (ACS) are being rapidly deployed at scale across Global South healthcare settings, aiming to reduce clinician documentation time, especially in overburdened environments like India. These ACS are primarily developed or distilled from models built and validated on Global North speech, languages and consultation styles. Indian clinical encounters are brief, triadic, multilingual, code-mixed with low-resource languages, and conducted in highly resource-constrained, noisy settings -- increasing the likelihood of ASR and note-generation errors manyfold. We posit an urgent need to develop a standardized evaluation infrastructure to assess whether these systems are safe, reliable, and well-suited to the Indian healthcare setting. We substantiate our claims through a mixed-methods study -- a systematic survey of publicly available patient-clinician conversational datasets, a quantitative comparison of these datasets against conversational and cultural markers drawn from the Indian clinical-communication literature, and semi-structured interviews with five organizations building and deploying ACS in India and Africa. Our survey shows that there are no publicly available, large-scale, real-world benchmarks for ACS in India, with existing datasets being overwhelmingly synthetic. We note that the available Global North datasets diverge significantly from the expected conversational and cultural structures of Indian encounters. Finally, our interviews reveal that deploying organizations have each built proprietary, incomparable evaluation pipelines, creating a fragmented ecosystem with no independent and reliable basis for procurement. We call for the development of a publicly shared, real-world, multilingual benchmark for ACS evaluation and outline the properties and policies such a benchmark would require.
- Abstract(参考訳): アンビエント・クリニカル・スクリプティング(ACS)は、特にインドのような汚染された環境において、クリニカル・ドキュメンテーションの時間を短縮することを目的として、グローバル・サウスの医療環境全体にわたって急速に展開されている。
これらのACSは、主にグローバルノースのスピーチ、言語、コンサルティングスタイルに基づいて構築され、検証されたモデルから開発または蒸留される。
インドの臨床試験は、簡潔で三進的、多言語で、低リソースの言語と混ざり合っており、リソースに制約のある、ノイズの多い環境で実施されている。
我々は、これらのシステムが安全で信頼性があり、インドの医療環境に適しているかどうかを評価するために、標準化された評価インフラを開発する緊急の必要性を示唆する。
ACSをインドとアフリカに構築・展開する5つの組織との半構造化されたインタビュー、これらのデータセットをインドの臨床コミュニケーション文学から引き出された会話的および文化的マーカーに対して定量的に比較する。
私たちの調査によると、インドではACSの大規模で大規模なベンチマークが公開されておらず、既存のデータセットは圧倒的に合成されています。
利用可能なGlobal Northデータセットは、予想されるインドの出会いの会話構造と文化構造とは大きく異なっています。
最後に、私たちのインタビューは、デプロイする組織がそれぞれ独自の、互換性のない評価パイプラインを構築しており、独立的で信頼性の高い調達基盤のない、断片化されたエコシステムを形成しています。
我々は、ACS評価のための公に共有される実世界の多言語ベンチマークの開発を要求し、そのようなベンチマークが必要とする特性とポリシーの概要を述べる。
関連論文リスト
- SurakshaEval: An Indic Safety Benchmark for Multilingual LLMs [56.34354368047577]
既存の言語モデル(LLM)の安全性評価データセットは、主に英語と西洋の文脈に焦点を当てている。
現実世界のシナリオにまたがる人書きプロンプトで構成される新しい安全ベンチマークであるSurakshaEvalを紹介する。
我々は、SurakshaEval上で最先端のLLMをベンチマークし、ベースライン安全性能を確立し、繰り返し発生する障害モードを特定する。
論文 参考訳(メタデータ) (2026-08-08T02:03:33Z) - SamaVaani: Auditing and Debiasing Multilingual Clinical ASR for Indian Languages [4.7356929645399095]
我々は、カナダ、ヒンディー語、インド英語を対象とする現実世界の精神科面接データに対して、自動音声認識(ASR)性能の体系的な監査を行う。
本研究の結果から,インド英語では競争力があるものの,地域言語では機能しないシステムが存在するため,モデルや言語間でのかなりの変動が明らかとなった。
SamaVaaniは、ASRのパフォーマンスを同時に改善し、人口集団間の公平性を向上する統合デバイアス手法である。
論文 参考訳(メタデータ) (2026-06-25T11:34:07Z) - MedErrBench: A Fine-Grained Multilingual Benchmark for Medical Error Detection and Correction with Clinical Expert Annotations [4.451052650309736]
我々はMedErrBenchを紹介した。MedErrBenchは、エラー検出、ローカライゼーション、修正のための最初の多言語ベンチマークである。
MedErrBenchは10種類の一般的な誤りの分類に基づいて、英語、アラビア語、中国語をカバーしている。
その結果、特に英語以外の設定では、顕著なパフォーマンスのギャップが明らかとなった。
論文 参考訳(メタデータ) (2026-02-05T14:18:20Z) - ASR Under the Stethoscope: Evaluating Biases in Clinical Speech Recognition across Indian Languages [3.3753770857559826]
我々は,カナダ,ヒンディー語,インド英語にまたがる実世界臨床面接データに基づいて,ASRのパフォーマンスを初めて体系的に評価した。
Indic Whisper、Whisper、Sarvam、Google Speech to text、Gemma3n、Omnilingual、Vaani、Geminiといった主要なモデルを比較します。
結果は、モデルや言語間でのかなりの変動を示し、一部のシステムはインド英語で競争的に機能するが、混成言語や垂直言語では機能しない。
論文 参考訳(メタデータ) (2025-11-30T06:37:40Z) - A Comprehensive Review of Datasets for Clinical Mental Health AI Systems [55.67299586253951]
本稿では,AIを活用した臨床アシスタントの訓練・開発に関連する臨床精神保健データセットの総合的調査を行う。
本調査では, 縦断データの欠如, 文化・言語表現の制限, 一貫性のない収集・注釈基準, 合成データのモダリティの欠如など, 重要なギャップを明らかにした。
論文 参考訳(メタデータ) (2025-08-13T13:42:35Z) - LlaMADRS: Prompting Large Language Models for Interview-Based Depression Assessment [75.44934940580112]
LlaMADRSは、オープンソースのLarge Language Models(LLM)を利用して、うつ病の重症度評価を自動化する新しいフレームワークである。
本研究は,クリニカルインタヴューの解釈・スコアリングにおけるモデル指導のために,慎重に設計された手がかりを用いたゼロショットプロンプト戦略を用いている。
実世界における236件のインタビューを対象とし,臨床評価と強い相関性を示した。
論文 参考訳(メタデータ) (2025-01-07T08:49:04Z) - Generation and De-Identification of Indian Clinical Discharge Summaries using LLMs [3.8895618250348116]
近年のデータ漏洩による財務的影響は、1000万ドル近くと推定されている。
個人情報を識別するコンピュータベースのシステムは、データドリフトに対して脆弱である。
論文 参考訳(メタデータ) (2024-07-08T12:47:03Z) - Attribute Structuring Improves LLM-Based Evaluation of Clinical Text Summaries [56.31117605097345]
大規模言語モデル(LLM)は、正確な臨床テキスト要約を生成する可能性を示しているが、根拠付けと評価に関する問題に苦慮している。
本稿では、要約評価プロセスを構成するAttribute Structuring(AS)を用いた一般的な緩和フレームワークについて検討する。
ASは、臨床テキスト要約における人間のアノテーションと自動メトリクスの対応性を一貫して改善する。
論文 参考訳(メタデータ) (2024-03-01T21:59:03Z) - PMC-LLaMA: Towards Building Open-source Language Models for Medicine [62.39105735933138]
大規模言語モデル(LLM)は、自然言語理解において顕著な能力を示した。
LLMは、ドメイン固有の知識が不足しているため、医学的応用のような正確性を必要とする領域で苦労している。
PMC-LLaMAと呼ばれる医療応用に特化した強力なオープンソース言語モデルの構築手順について述べる。
論文 参考訳(メタデータ) (2023-04-27T18:29:05Z) - Intent Identification and Entity Extraction for Healthcare Queries in
Indic Languages [16.39183257795811]
インドのような先進国では、データとリソース不足言語の技術的な制限が、医療のための高度なNLUシステムの開発に脅威をもたらしている。
本稿では、2つの異なるヘルスケアデータセットを提案する。
我々の目標は、クエリインテントを検出し、対応するエンティティを抽出することである。
論文 参考訳(メタデータ) (2023-02-19T22:53:03Z) - Self-supervised Answer Retrieval on Clinical Notes [68.87777592015402]
本稿では,ドメイン固有パスマッチングのためのトランスフォーマー言語モデルをトレーニングするためのルールベースのセルフスーパービジョンであるCAPRを紹介する。
目的をトランスフォーマーベースの4つのアーキテクチャ、コンテキスト文書ベクトル、ビ-、ポリエンコーダ、クロスエンコーダに適用する。
本稿では,ドメイン固有パスの検索において,CAPRが強いベースラインを上回り,ルールベースおよび人間ラベル付きパスを効果的に一般化することを示す。
論文 参考訳(メタデータ) (2021-08-02T10:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。