論文の概要: Explainable and Controllable Motion Curve Guided Cardiac Ultrasound Video Generation
- arxiv url: http://arxiv.org/abs/2407.21490v1
- Date: Wed, 31 Jul 2024 09:59:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 18:12:32.107911
- Title: Explainable and Controllable Motion Curve Guided Cardiac Ultrasound Video Generation
- Title(参考訳): 心エコー画像生成のための説明可能・制御可能な運動曲線
- Authors: Junxuan Yu, Rusi Chen, Yongsong Zhou, Yanlin Chen, Yaofei Duan, Yuhao Huang, Han Zhou, Tan Tao, Xin Yang, Dong Ni,
- Abstract要約: 心エコー画像生成のための説明可能かつ制御可能な手法を提案する。
まず,各心部分構造から運動情報を抽出し,運動曲線を構築する。
第2に,動作曲線に意味的特徴をマッピングできる構造間アライメントモジュールを提案する。
第三に、位置認識型アテンション機構は、構造的位置情報を持つガウスマスクを用いて、映像の一貫性を高めるように設計されている。
- 参考スコア(独自算出の注目度): 11.879436948659691
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Echocardiography video is a primary modality for diagnosing heart diseases, but the limited data poses challenges for both clinical teaching and machine learning training. Recently, video generative models have emerged as a promising strategy to alleviate this issue. However, previous methods often relied on holistic conditions during generation, hindering the flexible movement control over specific cardiac structures. In this context, we propose an explainable and controllable method for echocardiography video generation, taking an initial frame and a motion curve as guidance. Our contributions are three-fold. First, we extract motion information from each heart substructure to construct motion curves, enabling the diffusion model to synthesize customized echocardiography videos by modifying these curves. Second, we propose the structure-to-motion alignment module, which can map semantic features onto motion curves across cardiac structures. Third, The position-aware attention mechanism is designed to enhance video consistency utilizing Gaussian masks with structural position information. Extensive experiments on three echocardiography datasets show that our method outperforms others regarding fidelity and consistency. The full code will be released at https://github.com/mlmi-2024-72/ECM.
- Abstract(参考訳): 心エコービデオは心臓疾患の診断において主要な手段であるが、この限られたデータは臨床教育と機械学習トレーニングの両方に課題をもたらす。
近年,映像生成モデルはこの問題を緩和するための有望な戦略として浮上している。
しかし、従来の手法は、しばしば生成中の全体的条件に依存しており、特定の心構造に対する柔軟な運動制御を妨げていた。
そこで本研究では,心エコー画像生成のための説明可能な制御可能な手法を提案し,初期フレームと運動曲線をガイダンスとして用いた。
私たちの貢献は3倍です。
まず,各心臓のサブ構造から運動情報を抽出して運動曲線を構築する。
第2に、心構造を横断する運動曲線に意味的特徴をマッピングできる構造間アライメントモジュールを提案する。
第三に、位置認識型アテンション機構は、構造的位置情報を持つガウスマスクを用いて、映像の一貫性を高めるように設計されている。
心エコー図データを用いた拡張実験により,本手法は心電図の忠実度や整合性に優れることがわかった。
完全なコードはhttps://github.com/mlmi-2024-72/ECMでリリースされる。
関連論文リスト
- Bidirectional Recurrence for Cardiac Motion Tracking with Gaussian Process Latent Coding [9.263168872795843]
GPTrackは、心臓運動の時間的および空間的ダイナミクスを探求するために作られた、教師なしのフレームワークである。
逐次ガウス過程を潜時空間で利用し、各時刻スタンプにおける空間情報による統計を符号化することにより、モーショントラッキングを強化する。
GPTrackは,3次元および4次元の医用画像における運動追跡の精度を,計算効率を保ちながら向上させる。
論文 参考訳(メタデータ) (2024-10-28T05:33:48Z) - Sequence-aware Pre-training for Echocardiography Probe Guidance [66.35766658717205]
心臓超音波は、(1)心臓の本質的に複雑な構造、(2)重要な個人差の2つの大きな課題に直面している。
これまでの研究は、心臓のパーソナライズされた構造的特徴よりも、心臓の2Dおよび3Dの人口平均構造についてしか学ばなかった。
パーソナライズされた2次元と3次元の心構造特徴を学習するためのシーケンス認識型自己教師付き事前学習法を提案する。
論文 参考訳(メタデータ) (2024-08-27T12:55:54Z) - CardioSpectrum: Comprehensive Myocardium Motion Analysis with 3D Deep Learning and Geometric Insights [6.415915756409993]
従来のニューラルネットワークは微妙な接尾辞の動きを予測するのが難しい。
この問題に対処するための包括的アプローチを提案する。
私たちの3Dディープラーニングアーキテクチャは、ARFlowモデルに基づいて、複雑な3Dモーション分析タスクに最適化されています。
論文 参考訳(メタデータ) (2024-07-04T09:57:44Z) - HeartBeat: Towards Controllable Echocardiography Video Synthesis with Multimodal Conditions-Guided Diffusion Models [14.280181445804226]
本稿では、制御可能で高忠実なECHOビデオ合成のためのHeartBeatという新しいフレームワークを提案する。
HeartBeatは、マルチモーダル条件を同時に認識し、制御可能な生成をガイドする統合フレームワークとして機能する。
このように、ユーザはマルチモーダル制御信号を組み合わせることで、心的イメージに適合するECHOビデオを合成することができる。
論文 参考訳(メタデータ) (2024-06-20T08:24:28Z) - Echocardiography video synthesis from end diastolic semantic map via
diffusion model [0.0]
本稿では,心臓ビデオ合成のために既存のビデオ拡散モデルを拡張し,課題に対処することを目的とする。
我々の焦点は、心循環中に初期フレームのセマンティックマップを用いてビデオを生成することであり、一般にエンドダイアストルと呼ばれる。
本モデルでは,FID,FVD,SSMIなどの複数の指標を用いて,標準拡散法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2023-10-11T02:08:05Z) - Semantic-aware Temporal Channel-wise Attention for Cardiac Function
Assessment [69.02116920364311]
既存のビデオベースの手法では、左室領域や運動による左室の変化にはあまり注意を払わない。
本稿では,左室分割課題を伴う半教師付き補助学習パラダイムを提案し,左室領域の表現学習に寄与する。
提案手法は,0.22 MAE,0.26 RMSE,1.9%$R2$の改善により,スタンフォードデータセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2023-10-09T05:57:01Z) - Continuous 3D Myocardial Motion Tracking via Echocardiography [30.19879953016694]
心筋運動追跡は、心臓血管疾患の予防と検出に不可欠な臨床ツールである。
現在の技術は、空間次元と時間次元の両方において、心筋の不完全かつ不正確な運動推定に悩まされている。
本稿では, 心臓の3次元構造と包括的6次元前/後方運動をモデル化するためのニューラル心運動場(ニューラルCMF)について紹介する。
論文 参考訳(メタデータ) (2023-10-04T13:11:20Z) - MoCaNet: Motion Retargeting in-the-wild via Canonicalization Networks [77.56526918859345]
そこで本研究では,制御された環境から3次元動作タスクを実現する新しいフレームワークを提案する。
モーションキャプチャシステムや3D再構成手順を使わずに、2Dモノクロ映像のキャラクタから3Dキャラクタへの体動を可能にする。
論文 参考訳(メタデータ) (2021-12-19T07:52:05Z) - CS2-Net: Deep Learning Segmentation of Curvilinear Structures in Medical
Imaging [90.78899127463445]
カービリニア構造のセグメンテーションのための汎用的で統一的な畳み込みニューラルネットワークを提案する。
エンコーダとデコーダに自己アテンション機構を含む新しいカービリニア構造分割ネットワーク(CS2-Net)を導入する。
論文 参考訳(メタデータ) (2020-10-15T03:06:37Z) - Learning Motion Flows for Semi-supervised Instrument Segmentation from
Robotic Surgical Video [64.44583693846751]
本研究は,スパースアノテーションを用いたロボット手術ビデオから半教師楽器のセグメンテーションについて検討する。
生成されたデータペアを利用することで、我々のフレームワークはトレーニングシーケンスの時間的一貫性を回復し、強化することができます。
その結果,本手法は最先端の半教師あり手法よりも大きなマージンで優れていることがわかった。
論文 参考訳(メタデータ) (2020-07-06T02:39:32Z) - Motion Pyramid Networks for Accurate and Efficient Cardiac Motion
Estimation [51.72616167073565]
本研究では,心臓の運動推定を高精度かつ効率的に行うための,ディープラーニングに基づく新しいアプローチであるMotion Pyramid Networksを提案する。
我々は、複数の特徴表現から運動場のピラミッドを予測し、融合し、より洗練された運動場を生成する。
そこで我々は,新しい循環型教員教育戦略を用いて,推論をエンドツーエンドにし,トラッキング性能をさらに向上させる。
論文 参考訳(メタデータ) (2020-06-28T21:03:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。