論文の概要: Self-supervised 3D Patient Modeling with Multi-modal Attentive Fusion

• arxiv url: http://arxiv.org/abs/2403.03217v1
• Date: Tue, 5 Mar 2024 18:58:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 13:43:19.832900
• Title: Self-supervised 3D Patient Modeling with Multi-modal Attentive Fusion
• Title（参考訳）: マルチモーダル・アテンテーティブ・フュージョンを用いた自己監督型3次元モデリング
• Authors: Meng Zheng, Benjamin Planche, Xuan Gong, Fan Yang, Terrence Chen, Ziyan Wu
• Abstract要約: 3次元患者体モデリングは、スマート・メディカル・スキャンおよび手術室における患者の自動位置決めの成功に不可欠である。 既存のCNNベースのエンドツーエンドの患者モデリングソリューションは、通常、大量の関連するトレーニングデータを必要とするカスタマイズされたネットワーク設計を必要とする。 a) 2次元関節局所化のための注意融合を伴うマルチモーダルキーポイント検出モジュールからなる汎用的なモジュール化された3次元患者モデリング手法を提案する。 本手法の有効性を,公用および臨床用両方のデータを用いた広範囲な患者位置決め実験により実証した。
• 参考スコア（独自算出の注目度）: 32.71972792352939
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D patient body modeling is critical to the success of automated patient positioning for smart medical scanning and operating rooms. Existing CNN-based end-to-end patient modeling solutions typically require a) customized network designs demanding large amount of relevant training data, covering extensive realistic clinical scenarios (e.g., patient covered by sheets), which leads to suboptimal generalizability in practical deployment, b) expensive 3D human model annotations, i.e., requiring huge amount of manual effort, resulting in systems that scale poorly. To address these issues, we propose a generic modularized 3D patient modeling method consists of (a) a multi-modal keypoint detection module with attentive fusion for 2D patient joint localization, to learn complementary cross-modality patient body information, leading to improved keypoint localization robustness and generalizability in a wide variety of imaging (e.g., CT, MRI etc.) and clinical scenarios (e.g., heavy occlusions); and (b) a self-supervised 3D mesh regression module which does not require expensive 3D mesh parameter annotations to train, bringing immediate cost benefits for clinical deployment. We demonstrate the efficacy of the proposed method by extensive patient positioning experiments on both public and clinical data. Our evaluation results achieve superior patient positioning performance across various imaging modalities in real clinical scenarios.
• Abstract（参考訳）: 3次元患者体モデリングは、スマート・メディカル・スキャンおよび手術室における患者の自動位置決めの成功に不可欠である。 既存のCNNベースのエンドツーエンド患者モデリングソリューションは、通常必要である a) 広範囲にわたる現実的な臨床シナリオ(例えば、シートで覆われた患者)をカバーする、大量の関連するトレーニングデータを要求するネットワーク設計。 b) 高額な3Dヒューマンモデルアノテーション、すなわち膨大な手作業が必要で、結果としてスケーラビリティの低いシステムとなる。 この問題に対処するため,我々は3次元患者モデリングの汎用的モジュール化手法を提案する。 a) 2次元患者の関節局在を注意的に融合させるマルチモーダルキーポイント検出モジュールは、補完的なクロスモーダルな患者体情報を学び、幅広いイメージング(例えば、ct、mriなど)および臨床シナリオ(例えば、重度咬合)においてキーポイントの局在のロバスト性と一般化性を改善する。 b) 訓練に高価な3Dメッシュパラメータアノテーションを必要としない自己教師型3Dメッシュ回帰モジュールで、臨床展開に即時的なコスト効果をもたらす。 本研究は, 一般および臨床データを用いた広範な患者位置決め実験により, 提案手法の有効性を実証する。 実際の臨床シナリオにおいて, 様々な画像モダリティにまたがる優れた患者位置決め性能が得られた。

関連論文リスト

• Autoregressive Sequence Modeling for 3D Medical Image Representation [48.706230961589924]
  本稿では, 自己回帰シーケンス事前学習フレームワークを用いて, 3次元医用画像表現を学習するための先駆的手法を提案する。 我々は,空間的,コントラスト的,意味的相関に基づく様々な3次元医用画像にアプローチし,トークンシーケンス内の相互接続された視覚トークンとして扱う。
  論文  参考訳（メタデータ） (2024-09-13T10:19:10Z)
• Towards Synergistic Deep Learning Models for Volumetric Cirrhotic Liver Segmentation in MRIs [1.5228650878164722]
  世界的死亡の主な原因である肝硬変は、効果的な疾患モニタリングと治療計画のためにROIを正確に区分する必要がある。 既存のセグメンテーションモデルは、複雑な機能インタラクションをキャプチャして、さまざまなデータセットをまたいだ一般化に失敗することが多い。 本稿では、補間潜在空間を拡張的特徴相互作用モデリングに活用する新しい相乗論的理論を提案する。
  論文  参考訳（メタデータ） (2024-08-08T14:41:32Z)
• Inter-slice Super-resolution of Magnetic Resonance Images by Pre-training and Self-supervised Fine-tuning [49.197385954021456]
  臨床実践では、2次元磁気共鳴(MR)シーケンスが広く採用されている。個々の2次元スライスを積み重ねて3次元ボリュームを形成できるが、比較的大きなスライスススペーシングは可視化とその後の解析タスクに課題をもたらす可能性がある。 スライス間隔を低減するため,ディープラーニングに基づく超解像技術が広く研究されている。 現在のほとんどのソリューションは、教師付きトレーニングのために、かなりの数の高解像度と低解像度の画像を必要とするが、通常は現実のシナリオでは利用できない。
  論文  参考訳（メタデータ） (2024-06-10T02:20:26Z)
• SAM3D: Zero-Shot Semi-Automatic Segmentation in 3D Medical Images with the Segment Anything Model [3.2554912675000818]
  SAM3Dは,既存のセグメンテーションモデル上に構築された3次元画像の半自動ゼロショットセグメンテーションのための新しいアプローチである。 ユーザが3Dポリラインでプロンプトし、複数の軸に沿ってボリュームスライスし、事前訓練されたモデルでスライスワイド推論を行い、3Dで再構成と洗練を行う4段階の戦略で、3D画像の高速かつ正確なセグメンテーションを実現する。
  論文  参考訳（メタデータ） (2024-05-10T19:26:17Z)
• Deep Learning-Based Brain Image Segmentation for Automated Tumour Detection [0.0]
  目的は、最先端の畳み込みニューラルネットワーク(CNN)を、セグメント化のための脳MRIスキャンの大規模なデータセットに活用することである。 提案手法は,性能向上と一般化性向上のために前処理技術を適用した。
  論文  参考訳（メタデータ） (2024-04-06T15:09:49Z)
• Three-dimensional Bone Image Synthesis with Generative Adversarial Networks [2.499907423888049]
  本研究は,高分解能医用量を生成するために,3次元生成対向ネットワーク(GAN)を効率的に訓練できることを実証する。 GANインバージョンは3次元設定のために実装され、モデル解釈可能性に関する広範な研究に使用される。
  論文  参考訳（メタデータ） (2023-10-26T08:08:17Z)
• On the Localization of Ultrasound Image Slices within Point Distribution Models [84.27083443424408]
  甲状腺疾患は高分解能超音波(US)で診断されることが多い 縦断追跡は病理甲状腺形態の変化をモニタリングするための重要な診断プロトコルである。 3次元形状表現におけるUS画像の自動スライスローカライズのためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-01T10:10:46Z)
• Automated Model Design and Benchmarking of 3D Deep Learning Models for COVID-19 Detection with Chest CT Scans [72.04652116817238]
  3D胸部CTスキャン分類のための3D DLモデルを自動的に検索するための差別化可能なニューラルネットワーク探索(DNAS)フレームワークを提案する。 また,我々のモデルのクラスアクティベーションマッピング(cam)技術を利用して,結果の解釈可能性を提供する。
  論文  参考訳（メタデータ） (2021-01-14T03:45:01Z)
• Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN [52.851990439671475]
  本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。 トレーニングと推論の異なる構成を使用することで、この目標を達成する。 3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-05T02:33:04Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。