論文の概要: Self-supervised 3D Patient Modeling with Multi-modal Attentive Fusion
- arxiv url: http://arxiv.org/abs/2403.03217v1
- Date: Tue, 5 Mar 2024 18:58:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 13:43:19.832900
- Title: Self-supervised 3D Patient Modeling with Multi-modal Attentive Fusion
- Title(参考訳): マルチモーダル・アテンテーティブ・フュージョンを用いた自己監督型3次元モデリング
- Authors: Meng Zheng, Benjamin Planche, Xuan Gong, Fan Yang, Terrence Chen,
Ziyan Wu
- Abstract要約: 3次元患者体モデリングは、スマート・メディカル・スキャンおよび手術室における患者の自動位置決めの成功に不可欠である。
既存のCNNベースのエンドツーエンドの患者モデリングソリューションは、通常、大量の関連するトレーニングデータを必要とするカスタマイズされたネットワーク設計を必要とする。
a) 2次元関節局所化のための注意融合を伴うマルチモーダルキーポイント検出モジュールからなる汎用的なモジュール化された3次元患者モデリング手法を提案する。
本手法の有効性を,公用および臨床用両方のデータを用いた広範囲な患者位置決め実験により実証した。
- 参考スコア(独自算出の注目度): 32.71972792352939
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D patient body modeling is critical to the success of automated patient
positioning for smart medical scanning and operating rooms. Existing CNN-based
end-to-end patient modeling solutions typically require a) customized network
designs demanding large amount of relevant training data, covering extensive
realistic clinical scenarios (e.g., patient covered by sheets), which leads to
suboptimal generalizability in practical deployment, b) expensive 3D human
model annotations, i.e., requiring huge amount of manual effort, resulting in
systems that scale poorly. To address these issues, we propose a generic
modularized 3D patient modeling method consists of (a) a multi-modal keypoint
detection module with attentive fusion for 2D patient joint localization, to
learn complementary cross-modality patient body information, leading to
improved keypoint localization robustness and generalizability in a wide
variety of imaging (e.g., CT, MRI etc.) and clinical scenarios (e.g., heavy
occlusions); and (b) a self-supervised 3D mesh regression module which does not
require expensive 3D mesh parameter annotations to train, bringing immediate
cost benefits for clinical deployment. We demonstrate the efficacy of the
proposed method by extensive patient positioning experiments on both public and
clinical data. Our evaluation results achieve superior patient positioning
performance across various imaging modalities in real clinical scenarios.
- Abstract(参考訳): 3次元患者体モデリングは、スマート・メディカル・スキャンおよび手術室における患者の自動位置決めの成功に不可欠である。
既存のCNNベースのエンドツーエンド患者モデリングソリューションは、通常必要である
a) 広範囲にわたる現実的な臨床シナリオ(例えば、シートで覆われた患者)をカバーする、大量の関連するトレーニングデータを要求するネットワーク設計。
b) 高額な3Dヒューマンモデルアノテーション、すなわち膨大な手作業が必要で、結果としてスケーラビリティの低いシステムとなる。
この問題に対処するため,我々は3次元患者モデリングの汎用的モジュール化手法を提案する。
a) 2次元患者の関節局在を注意的に融合させるマルチモーダルキーポイント検出モジュールは、補完的なクロスモーダルな患者体情報を学び、幅広いイメージング(例えば、ct、mriなど)および臨床シナリオ(例えば、重度咬合)においてキーポイントの局在のロバスト性と一般化性を改善する。
b) 訓練に高価な3Dメッシュパラメータアノテーションを必要としない自己教師型3Dメッシュ回帰モジュールで、臨床展開に即時的なコスト効果をもたらす。
本研究は, 一般および臨床データを用いた広範な患者位置決め実験により, 提案手法の有効性を実証する。
実際の臨床シナリオにおいて, 様々な画像モダリティにまたがる優れた患者位置決め性能が得られた。
関連論文リスト
- Three-dimensional Bone Image Synthesis with Generative Adversarial
Networks [2.499907423888049]
本研究は,高分解能医用量を生成するために,3次元生成対向ネットワーク(GAN)を効率的に訓練できることを実証する。
GANインバージョンは3次元設定のために実装され、モデル解釈可能性に関する広範な研究に使用される。
論文 参考訳(メタデータ) (2023-10-26T08:08:17Z) - On the Localization of Ultrasound Image Slices within Point Distribution
Models [84.27083443424408]
甲状腺疾患は高分解能超音波(US)で診断されることが多い
縦断追跡は病理甲状腺形態の変化をモニタリングするための重要な診断プロトコルである。
3次元形状表現におけるUS画像の自動スライスローカライズのためのフレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-01T10:10:46Z) - BOSS: Bones, Organs and Skin Shape Model [10.50175010474078]
我々は,CT画像から学習した皮膚,内臓,骨を結合した変形可能な人体形状とポーズモデルを提案する。
確率的PCAを用いて、ポーズ正規化空間の統計的変動をモデル化することにより、本手法は身体の全体像を提供する。
論文 参考訳(メタデータ) (2023-03-08T22:31:24Z) - M$^3$Care: Learning with Missing Modalities in Multimodal Healthcare
Data [17.479050575272147]
様々な臨床および社会的理由による欠落は、現実の臨床シナリオにおいて共通の問題である。
マルチモーダル医療データ(M3Care)におけるミス・モダリティを用いた学習という,直接的な問題を解決するモデルを提案する。
M3Careは、モダリティの欠如した患者の行方不明情報を補い、臨床分析を行うエンド・ツー・エンドのモデルである。
論文 参考訳(メタデータ) (2022-10-28T02:38:40Z) - Extending Process Discovery with Model Complexity Optimization and
Cyclic States Identification: Application to Healthcare Processes [62.997667081978825]
モデル最適化のための半自動支援を実現するプロセスマイニング手法を提案する。
所望の粒度で生モデルを抽象化するモデル単純化手法が提案されている。
医療分野の異なるアプリケーションから得られた3つのデータセットを用いて、技術的ソリューションの能力を実証することを目的としている。
論文 参考訳(メタデータ) (2022-06-10T16:20:59Z) - DeepAD: A Robust Deep Learning Model of Alzheimer's Disease Progression
for Real-World Clinical Applications [0.9999629695552196]
本稿では,アルツハイマー病の進行を予測するための新しいマルチタスク深層学習モデルを提案する。
本モデルでは,3次元畳み込みニューラルネットワークの高次元MRI特徴を他のデータモダリティと統合する。
論文 参考訳(メタデータ) (2022-03-17T05:42:00Z) - In-Bed Human Pose Estimation from Unseen and Privacy-Preserving Image
Domains [22.92165116962952]
ベッド内の人間の姿勢推定は、医療状況の評価において潜在的な価値を持つ重要な健康関連指標を提供する。
本稿では,マルチモーダル条件変分オートエンコーダ(MC-VAE)を提案する。
本研究は, 身体位置が利用可能なモダリティから効果的に認識できることを示し, ベースラインモデルと同等の結果が得られることを示した。
論文 参考訳(メタデータ) (2021-11-30T04:56:16Z) - Automated Model Design and Benchmarking of 3D Deep Learning Models for
COVID-19 Detection with Chest CT Scans [72.04652116817238]
3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。
また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
論文 参考訳(メタデータ) (2021-01-14T03:45:01Z) - Adversarial Sample Enhanced Domain Adaptation: A Case Study on
Predictive Modeling with Electronic Health Records [57.75125067744978]
ドメイン適応を容易にするデータ拡張手法を提案する。
逆生成したサンプルはドメイン適応時に使用される。
その結果,本手法の有効性とタスクの一般性が確認された。
論文 参考訳(メタデータ) (2021-01-13T03:20:20Z) - Hierarchical Amortized Training for Memory-efficient High Resolution 3D
GAN [52.851990439671475]
本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。
トレーニングと推論の異なる構成を使用することで、この目標を達成する。
3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
論文 参考訳(メタデータ) (2020-08-05T02:33:04Z) - Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。
また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
論文 参考訳(メタデータ) (2020-07-09T13:23:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。