論文の概要: Multimodal-GuideNet: Gaze-Probe Bidirectional Guidance in Obstetric
Ultrasound Scanning
- arxiv url: http://arxiv.org/abs/2207.12833v1
- Date: Tue, 26 Jul 2022 11:57:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-27 12:55:07.773888
- Title: Multimodal-GuideNet: Gaze-Probe Bidirectional Guidance in Obstetric
Ultrasound Scanning
- Title（参考訳）: マルチモーダルガイドネット : 超音波検診におけるガゼプローブの双方向誘導
- Authors: Qianhui Men, Clare Teng, Lior Drukker, Aris T. Papageorghiou, J.
Alison Noble
- Abstract要約: アイトラッカーは超音波(US)スキャン中にソノグラフィーに視覚的ガイダンスを提供することができる。
本稿では,実世界の米国ビデオ信号,同期視線,プローブ運動の段階的依存性を捉えるためのマルチモーダルガイダンス手法を提案する。
- 参考スコア（独自算出の注目度）: 3.8673567847548114
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Eye trackers can provide visual guidance to sonographers during ultrasound
(US) scanning. Such guidance is potentially valuable for less experienced
operators to improve their scanning skills on how to manipulate the probe to
achieve the desired plane. In this paper, a multimodal guidance approach
(Multimodal-GuideNet) is proposed to capture the stepwise dependency between a
real-world US video signal, synchronized gaze, and probe motion within a
unified framework. To understand the causal relationship between gaze movement
and probe motion, our model exploits multitask learning to jointly learn two
related tasks: predicting gaze movements and probe signals that an experienced
sonographer would perform in routine obstetric scanning. The two tasks are
associated by a modality-aware spatial graph to detect the co-occurrence among
the multi-modality inputs and share useful cross-modal information. Instead of
a deterministic scanning path, Multimodal-GuideNet allows for scanning
diversity by estimating the probability distribution of real scans. Experiments
performed with three typical obstetric scanning examinations show that the new
approach outperforms single-task learning for both probe motion guidance and
gaze movement prediction. Multimodal-GuideNet also provides a visual guidance
signal with an error rate of less than 10 pixels for a 224x288 US image.
- Abstract（参考訳）: 眼追跡装置は超音波(us)スキャン中に超音波撮影者に視覚指導を提供することができる。
このようなガイダンスは、経験の浅いオペレーターが、望まれる平面を達成するためにプローブを操作する方法のスキャンスキルを改善するために有用である。
本稿では,実世界の映像信号,同期視線,プローブ運動の段階的な依存性を統一フレームワーク内で捉えるために,マルチモーダル誘導手法 (multimodal-guidenet) を提案する。
視線運動とプローブ運動の因果関係を理解するために,我々はマルチタスク学習を利用して,視線運動の予測と,経験豊富なソノグラフィーが日常的産婦人科で行うようなプローブ信号の学習を行う。
2つのタスクは、モダリティ認識空間グラフによって関連付けられ、マルチモダリティ入力間の共起を検出し、有用なクロスモダリティ情報を共有する。
multimodal-guidenetは、決定論的スキャニングパスの代わりに、実際のスキャンの確率分布を推定することで、スキャニング多様性を可能にする。
3つの典型的な検診実験により、新しいアプローチは、プローブ運動誘導と視線運動予測の両方においてシングルタスク学習より優れていることが示された。
multimodal-guidenetはまた、224x288 us画像のエラーレートが10ピクセル未満の視覚誘導信号を提供する。
関連論文リスト
- No Identity, no problem: Motion through detection for people tracking [48.708733485434394]
本稿では,検出のみの監視を行いながら,動きの手がかりを利用する手法を提案する。
提案アルゴリズムは,2つの画像間の2次元運動推定とともに,2つの異なるタイミングで熱マップを検出する。
提案手法は,MOT17およびWILDTRACKデータセット上でのマルチターゲット・シングルビュー・マルチターゲット・トラッキングに対して,最先端の結果を提供する。
論文 参考訳（メタデータ） (2024-11-25T15:13:17Z) - Real-time guidewire tracking and segmentation in intraoperative x-ray [52.51797358201872]
リアルタイムガイドワイヤ分割と追跡のための2段階のディープラーニングフレームワークを提案する。
第1段階では、ヨロフ5検出器が元のX線画像と合成画像を使って訓練され、ターゲットのガイドワイヤのバウンディングボックスを出力する。
第2段階では、検出された各バウンディングボックスにガイドワイヤを分割するために、新規で効率的なネットワークが提案されている。
論文 参考訳（メタデータ） (2024-04-12T20:39:19Z) - Change Detection Between Optical Remote Sensing Imagery and Map Data via
Segment Anything Model (SAM) [20.985372561774415]
光高解像度画像とOpenStreetMap(OSM)データという2つの主要なリモートセンシングデータソース間の教師なしマルチモーダル変化検出について検討する。
我々はSAMのセグメンテーションプロセスを導くための2つの戦略、すなわち'no-prompt'と'box/mask prompt'メソッドを紹介した。
3つのデータセットの実験結果から,提案手法がより競争力のある結果が得られることが示唆された。
論文 参考訳（メタデータ） (2024-01-17T07:30:52Z) - Holistic Representation Learning for Multitask Trajectory Anomaly
Detection [65.72942351514956]
そこで本研究では,異なる時間帯における骨格軌跡の包括的表現による予測運動の学習を提案する。
我々は、時間的閉鎖された軌道を符号化し、ブロックされたセグメントの潜在表現を共同学習し、異なる時間的セグメントにわたる期待運動に基づいて軌道を再構築する。
論文 参考訳（メタデータ） (2023-11-03T11:32:53Z) - LSDM: Long-Short Diffeomorphic Motion for Weakly-Supervised Ultrasound
Landmark Tracking [18.526583948595555]
ランドマークの可塑性変形を探索する前に学習可能な変形を有するマルチタスク・フレームワークである長短微分同相運動ネットワークを提案する。
具体的には、時間長領域と短領域の両方で新しい微分同相表現を設計し、運動マージンを規定する。
局所解剖学的曖昧さをさらに軽減するため,我々は最大運動アライメントモジュールを提案する。
論文 参考訳（メタデータ） (2023-01-11T22:57:31Z) - Multimodal Graph Learning for Deepfake Detection [10.077496841634135]
既存のディープフェイク検出器は、堅牢性と一般化を達成する上でいくつかの課題に直面している。
本稿では,マルチモーダルグラフ学習(MGL)という新しいフレームワークを提案する。
提案手法は,ディープフェイク検出のための特徴を効果的に識別し,活用することを目的としている。
論文 参考訳（メタデータ） (2022-09-12T17:17:49Z) - Single Stage Virtual Try-on via Deformable Attention Flows [51.70606454288168]
仮想試行は、ショップ内服と基準人物画像が与えられた写真リアルなフィッティング結果を生成することを目的としている。
マルチフロー推定に変形性アテンションスキームを適用した,変形性アテンションフロー(DAFlow)を新たに開発した。
提案手法は,定性的かつ定量的に最先端の性能を実現する。
論文 参考訳（メタデータ） (2022-07-19T10:01:31Z) - SHREC 2022 Track on Online Detection of Heterogeneous Gestures [11.447098172408111]
本稿では,3Dハンドポーズのシーケンスからヘテロジニアスなジェスチャーをオンライン認識する方法を評価するために組織されたコンテストの結果について述べる。
データセットは、ジェスチャーが重要でない動きとインターリーブされた手追跡データの連続的なシーケンスを特徴としている。
この評価は、検出性能だけでなく、レイテンシや偽陽性にも基づき、実用的な対話ツールの実現可能性を理解することができる。
論文 参考訳（メタデータ） (2022-07-14T07:24:02Z) - Correlation-Aware Deep Tracking [83.51092789908677]
本稿では,自己/横断的意図に着想を得た,新たなターゲット依存型特徴ネットワークを提案する。
我々のネットワークは機能ネットワークの複数の層にクロスイメージの特徴相関を深く埋め込んでいる。
我々のモデルは、豊富な未ペア画像に対して柔軟に事前訓練が可能であり、既存の手法よりも顕著に高速な収束をもたらす。
論文 参考訳（メタデータ） (2022-03-03T11:53:54Z) - Learning Multi-Granular Spatio-Temporal Graph Network for Skeleton-based
Action Recognition [49.163326827954656]
骨格に基づく行動分類のための新しい多言語時空間グラフネットワークを提案する。
2つの枝の枝からなるデュアルヘッドグラフネットワークを開発し、少なくとも2つの時間分解能を抽出する。
3つの大規模データセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2021-08-10T09:25:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。