論文の概要: Real-Time Multimodal Cognitive Assistant for Emergency Medical Services
- arxiv url: http://arxiv.org/abs/2403.06734v1
- Date: Mon, 11 Mar 2024 13:56:57 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 18:53:38.024089
- Title: Real-Time Multimodal Cognitive Assistant for Emergency Medical Services
- Title（参考訳）: 救急医療におけるリアルタイムマルチモーダル認知アシスタント
- Authors: Keshara Weerasinghe, Saahith Janapati, Xueren Ge, Sion Kim, Sneha
Iyer, John A. Stankovic, Homa Alemzadeh
- Abstract要約: 本稿では,エンド・ツー・エンドのウェアラブル認知アシスタントシステムであるCognitiveEMSを提案する。
緊急現場からのマルチモーダルデータのリアルタイム取得と分析に協力的な仮想パートナーとして機能する。
- 参考スコア（独自算出の注目度）: 4.669165383466683
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emergency Medical Services (EMS) responders often operate under
time-sensitive conditions, facing cognitive overload and inherent risks,
requiring essential skills in critical thinking and rapid decision-making. This
paper presents CognitiveEMS, an end-to-end wearable cognitive assistant system
that can act as a collaborative virtual partner engaging in the real-time
acquisition and analysis of multimodal data from an emergency scene and
interacting with EMS responders through Augmented Reality (AR) smart glasses.
CognitiveEMS processes the continuous streams of data in real-time and
leverages edge computing to provide assistance in EMS protocol selection and
intervention recognition. We address key technical challenges in real-time
cognitive assistance by introducing three novel components: (i) a Speech
Recognition model that is fine-tuned for real-world medical emergency
conversations using simulated EMS audio recordings, augmented with synthetic
data generated by large language models (LLMs); (ii) an EMS Protocol Prediction
model that combines state-of-the-art (SOTA) tiny language models with EMS
domain knowledge using graph-based attention mechanisms; (iii) an EMS Action
Recognition module which leverages multimodal audio and video data and protocol
predictions to infer the intervention/treatment actions taken by the responders
at the incident scene. Our results show that for speech recognition we achieve
superior performance compared to SOTA (WER of 0.290 vs. 0.618) on
conversational data. Our protocol prediction component also significantly
outperforms SOTA (top-3 accuracy of 0.800 vs. 0.200) and the action recognition
achieves an accuracy of 0.727, while maintaining an end-to-end latency of 3.78s
for protocol prediction on the edge and 0.31s on the server.
- Abstract（参考訳）: 救急医療サービス(EMS)の対応者は、しばしば時間に敏感な条件下で活動し、認知的過負荷と固有のリスクに直面し、批判的思考と迅速な意思決定に不可欠なスキルを必要とする。
本稿では,Augmented Reality(AR)スマートグラスを用いて,救急現場からのマルチモーダルデータのリアルタイム取得と解析に携わる仮想パートナーとして機能する,エンドツーエンドのウェアラブル認知アシスタントシステムであるCognitiveEMSを提案する。
cognitiveemsはデータの連続的なストリームをリアルタイムで処理し、エッジコンピューティングを利用してemsプロトコルの選択と介入認識を支援する。
3つの新しい要素を導入することで、リアルタイム認知支援における重要な技術的課題に対処する。
一 大規模言語モデル(LLM)により生成された合成データを付加した模擬EMS音声記録を用いて現実の救急医療会話を微調整した音声認識モデル
(ii)グラフに基づく注意機構を用いた最先端(sota)小言語モデルとemsドメイン知識を組み合わせたemsプロトコル予測モデル
(iii)マルチモーダル音声・映像データ及びプロトコル予測を利用して、インシデントシーンにおける応答者による介入・処理動作を推定するemsアクション認識モジュール。
以上の結果から,音声認識は会話データにおけるsoma (wer of 0.290 vs. 0.618) よりも優れた性能が得られることがわかった。
我々のプロトコル予測コンポーネントはSOTA(トップ3の精度0.800対0.200)を著しく上回り、アクション認識は0.727の精度を実現し、エッジ上のプロトコル予測には3.78秒、サーバ上では0.31秒のレイテンシを維持する。
関連論文リスト
- Early Recognition of Parkinson's Disease Through Acoustic Analysis and Machine Learning [0.0]
パーキンソン病(英: Parkinson's Disease、PD)は、音声を含む運動機能と非運動機能の両方に大きな影響を及ぼす進行性神経変性疾患である。
本稿では,音声データを用いたPD認識手法の総合的なレビューを行い,機械学習とデータ駆動アプローチの進歩を強調した。
ロジスティック回帰、SVM、ニューラルネットワークなど、さまざまな分類アルゴリズムが検討されている。
以上の結果から,特定の音響特性と高度な機械学習技術は,PDと健常者の間で効果的に区別できることが示唆された。
論文 参考訳（メタデータ） (2024-07-22T23:24:02Z) - Data-Driven Simulator for Mechanical Circulatory Support with Domain Adversarial Neural Process [15.562905335917408]
MCSの既存の機械シミュレータは仮定の単純化に依存しており、患者固有の振る舞いには敏感である。
ニューラルプロセスアーキテクチャを用いて, MCSポンプレベルと不確実性を伴う大動脈圧測定の確率的関係を捉える。
非定常的傾向予測では19%改善した経験的結果から,DANPが臨床医の有効なツールとして確立された。
論文 参考訳（メタデータ） (2024-05-28T19:07:12Z) - Analyzing Participants' Engagement during Online Meetings Using Unsupervised Remote Photoplethysmography with Behavioral Features [50.82725748981231]
エンゲージメント測定は、医療、教育、サービスに応用される。
生理的特徴と行動的特徴の使用は可能であるが、従来の生理的測定の非現実性は接触センサーの必要性により生じる。
コンタクトセンサの代替として, 教師なし光胸腺造影(胸腔鏡)の有用性を実証する。
論文 参考訳（メタデータ） (2024-04-05T20:39:16Z) - Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである*
Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。
Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
論文 参考訳（メタデータ） (2023-10-28T12:08:03Z) - Foresight -- Deep Generative Modelling of Patient Timelines using
Electronic Health Records [46.024501445093755]
医学史の時間的モデリングは、将来の出来事を予測し、シミュレートしたり、リスクを見積り、代替診断を提案したり、合併症を予測するために使用することができる。
我々は、文書テキストを構造化されたコード化された概念に変換するためにNER+Lツール(MedCAT)を使用する新しいGPT3ベースのパイプラインであるForesightを提示する。
論文 参考訳（メタデータ） (2022-12-13T19:06:00Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳（メタデータ） (2021-07-20T07:04:52Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z) - MIA-Prognosis: A Deep Learning Framework to Predict Therapy Response [58.0291320452122]
本稿では,患者の予後と治療反応を予測するための統合型深層学習手法を提案する。
我々は,マルチモーダル非同期時系列分類タスクとして,確率モデリングを定式化する。
我々の予測モデルは、長期生存の観点から、低リスク、高リスクの患者をさらに階層化する可能性がある。
論文 参考訳（メタデータ） (2020-10-08T15:30:17Z) - BiteNet: Bidirectional Temporal Encoder Network to Predict Medical
Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。
エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。
実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文 参考訳（メタデータ） (2020-09-24T00:42:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。