論文の概要: Vision-language models for decoding provider attention during neonatal resuscitation
- arxiv url: http://arxiv.org/abs/2404.01207v1
- Date: Mon, 1 Apr 2024 16:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-03 21:55:47.468240
- Title: Vision-language models for decoding provider attention during neonatal resuscitation
- Title（参考訳）: 新生児蘇生期における情報提供者注意の復号化のための視覚言語モデル
- Authors: Felipe Parodi, Jordan Matelsky, Alejandra Regla-Vargas, Elizabeth Foglia, Charis Lim, Danielle Weinberg, Konrad Kording, Heidi Herrick, Michael Platt,
- Abstract要約: 我々は、プロバイダがセマンティッククラスに目を向けるようにデコードできる、自動化されたリアルタイムなディープラーニングアプローチを導入する。
私たちのパイプラインは、トレーニングなしで視線目標を特定する際に、91%の分類精度を達成しています。
当社のアプローチでは,既存のインフラストラクチャとシームレスに統合したスケーラブルなソリューションを,データスカースガゼ分析に提供しています。
- 参考スコア（独自算出の注目度）: 33.7054351451505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neonatal resuscitations demand an exceptional level of attentiveness from providers, who must process multiple streams of information simultaneously. Gaze strongly influences decision making; thus, understanding where a provider is looking during neonatal resuscitations could inform provider training, enhance real-time decision support, and improve the design of delivery rooms and neonatal intensive care units (NICUs). Current approaches to quantifying neonatal providers' gaze rely on manual coding or simulations, which limit scalability and utility. Here, we introduce an automated, real-time, deep learning approach capable of decoding provider gaze into semantic classes directly from first-person point-of-view videos recorded during live resuscitations. Combining state-of-the-art, real-time segmentation with vision-language models (CLIP), our low-shot pipeline attains 91\% classification accuracy in identifying gaze targets without training. Upon fine-tuning, the performance of our gaze-guided vision transformer exceeds 98\% accuracy in gaze classification, approaching human-level precision. This system, capable of real-time inference, enables objective quantification of provider attention dynamics during live neonatal resuscitation. Our approach offers a scalable solution that seamlessly integrates with existing infrastructure for data-scarce gaze analysis, thereby offering new opportunities for understanding and refining clinical decision making.
- Abstract（参考訳）: 新生児の蘇生は、複数の情報ストリームを同時に処理しなければならないプロバイダから特別な注意力を要求する。
ガゼは意思決定に強く影響を与えており、新生児蘇生中に提供者がどこに目を向けているかを理解することで、提供者のトレーニングを知らせ、リアルタイムな意思決定支援を強化し、提供室と新生児集中治療ユニット(NICU)の設計を改善することができる。
新生児提供者の視線を定量化する現在のアプローチは、スケーラビリティと実用性を制限する手動のコーディングやシミュレーションに依存している。
そこで本研究では,生中継中に記録された一対一の視点ビデオから直接,プロバイダがセマンティッククラスに目を向ける自動,リアルタイム,ディープラーニングのアプローチを提案する。
最先端のリアルタイムセグメンテーションとビジョン言語モデル(CLIP)を組み合わせることで、私たちの低ショットパイプラインは、トレーニングなしで視線目標を特定する場合に、91\%の精度で分類できる。
微調整では、視線誘導型視線変換器の性能は、視線分類の精度が98%を超え、人間のレベル精度に近づいた。
本システムは,生後新生児蘇生期における提供者注意動態の客観的定量化を可能にする。
当社のアプローチでは,既存のインフラストラクチャとシームレスに統合してデータスカース・アイ分析を行い,臨床的意思決定の理解と精査を行う新たな機会を提供する,スケーラブルなソリューションを提供しています。
関連論文リスト
- Using Explainable AI for EEG-based Reduced Montage Neonatal Seizure Detection [2.206534289238751]
新生児発作検出のゴールドスタンダードは、現在連続したビデオEEGモニタリングに依存している。
脳波モンタージュを低減した新生児発作検出プロセスを自動化するための新しい説明可能な深層学習モデルを提案する。
提案したモデルは、それぞれ曲線下面積(AUC)とリコールにおける8.31%と42.86%の絶対的な改善を達成している。
論文 参考訳（メタデータ） (2024-06-04T10:53:56Z) - Dynamic Gaussian Splatting from Markerless Motion Capture can
Reconstruct Infants Movements [2.44755919161855]
本研究は,多様な臨床集団に適用可能な高度な運動分析ツールの道を開くものである。
マーカーレスモーションキャプチャーデータに対する動的ガウススプラッティングの適用について検討した。
以上の結果から,この手法が乳幼児の情景を表現し,乳幼児の動きを追跡できる可能性が示唆された。
論文 参考訳（メタデータ） (2023-10-30T11:09:39Z) - Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである*
Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。
Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
論文 参考訳（メタデータ） (2023-10-28T12:08:03Z) - Evaluation of self-supervised pre-training for automatic infant movement
classification using wearable movement sensors [2.995873287514728]
乳幼児ウェアラブルMAIJUは、乳幼児の運動性能を病院外環境で自動的に評価する手段を提供する。
そこで本研究では,MAIJU録音の分析に用いる分類器の性能向上について検討した。
論文 参考訳（メタデータ） (2023-05-16T11:46:16Z) - Fuzzy Attention Neural Network to Tackle Discontinuity in Airway
Segmentation [67.19443246236048]
気道セグメンテーションは肺疾患の検査、診断、予後に重要である。
いくつかの小型の気道支線(気管支や終端など)は自動セグメンテーションの難しさを著しく増す。
本稿では,新しいファジィアテンションニューラルネットワークと包括的損失関数を備える,気道セグメンテーションの効率的な手法を提案する。
論文 参考訳（メタデータ） (2022-09-05T16:38:13Z) - BabyNet: A Lightweight Network for Infant Reaching Action Recognition in
Unconstrained Environments to Support Future Pediatric Rehabilitation
Applications [5.4771139749266435]
動作認識は、ウェアラブルロボット外骨格のような物理的リハビリテーション装置の自律性を改善する重要な要素である。
本稿では,生体外静止カメラから幼児の到達行動を認識する軽量ネットワーク構造であるBabyNetを紹介する。
論文 参考訳（メタデータ） (2022-08-09T07:38:36Z) - Automated Classification of General Movements in Infants Using a
Two-stream Spatiotemporal Fusion Network [5.541644538483947]
幼児の全身運動(GM)の評価は神経発達障害の早期診断に有用である。
近年、ビデオベースのGM分類が注目されているが、これは無関係な情報の影響を強く受けている。
不要な背景情報を除去する前処理ネットワークからなる自動GM分類法を提案する。
論文 参考訳（メタデータ） (2022-07-04T05:21:09Z) - Leveraging Human Selective Attention for Medical Image Analysis with
Limited Training Data [72.1187887376849]
選択的な注意機構は、注意散らしの存在を無視することで、認知システムがタスク関連視覚的手がかりに焦点を合わせるのに役立つ。
本稿では,医療画像解析タスクにおいて,小さなトレーニングデータを用いたガベージを利用したフレームワークを提案する。
本手法は腫瘍の3次元分割と2次元胸部X線分類において優れた性能を示す。
論文 参考訳（メタデータ） (2021-12-02T07:55:25Z) - Explaining Clinical Decision Support Systems in Medical Imaging using
Cycle-Consistent Activation Maximization [112.2628296775395]
ディープニューラルネットワークを用いた臨床意思決定支援は、着実に関心が高まりつつあるトピックとなっている。
臨床医は、その根底にある意思決定プロセスが不透明で理解しにくいため、この技術の採用をためらうことが多い。
そこで我々は,より小さなデータセットであっても,分類器決定の高品質な可視化を生成するCycleGANアクティベーションに基づく,新たな意思決定手法を提案する。
論文 参考訳（メタデータ） (2020-10-09T14:39:27Z) - Retinopathy of Prematurity Stage Diagnosis Using Object Segmentation and
Convolutional Neural Networks [68.96150598294072]
未熟児網膜症(英: Retinopathy of Prematurity、ROP)は、主に体重の低い未熟児に影響を及ぼす眼疾患である。
網膜の血管の増殖を招き、視力喪失を招き、最終的には網膜剥離を招き、失明を引き起こす。
近年,ディープラーニングを用いて診断を自動化する試みが盛んに行われている。
本稿では,従来のモデルの成功を基盤として,オブジェクトセグメンテーションと畳み込みニューラルネットワーク(CNN)を組み合わせた新しいアーキテクチャを開発する。
提案システムでは,まず対象分割モデルを訓練し,画素レベルでの区切り線を識別し,その結果のマスクを追加の"カラー"チャネルとして付加する。
論文 参考訳（メタデータ） (2020-04-03T14:07:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。