論文の概要: Multi-modal 3D Pose and Shape Estimation with Computed Tomography
- arxiv url: http://arxiv.org/abs/2503.19405v1
- Date: Tue, 25 Mar 2025 07:24:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-26 16:55:26.722461
- Title: Multi-modal 3D Pose and Shape Estimation with Computed Tomography
- Title（参考訳）: マルチモーダル3次元画像とCTによる形状推定
- Authors: Mingxiao Tu, Hoijoon Jung, Alireza Moghadam, Jineel Raythatha, Lachlan Allan, Jeremy Hsu, Andre Kyme, Jinman Kim,
- Abstract要約: 我々は,CTスキャンから抽出した詳細な幾何学的特徴と深度マップを融合した,最初のマルチモーダルなベッド内3次元ポーズと形状推定ネットワークを提案する。
mPSE-CTは、隠蔽された身体領域を頑健に再構築し、推定された3次元メッシュモデルの精度を高める。
- 参考スコア（独自算出の注目度）: 6.614339747258751
- License:
- Abstract: In perioperative care, precise in-bed 3D patient pose and shape estimation (PSE) can be vital in optimizing patient positioning in preoperative planning, enabling accurate overlay of medical images for augmented reality-based surgical navigation, and mitigating risks of prolonged immobility during recovery. Conventional PSE methods relying on modalities such as RGB-D, infrared, or pressure maps often struggle with occlusions caused by bedding and complex patient positioning, leading to inaccurate estimation that can affect clinical outcomes. To address these challenges, we present the first multi-modal in-bed patient 3D PSE network that fuses detailed geometric features extracted from routinely acquired computed tomography (CT) scans with depth maps (mPSE-CT). mPSE-CT incorporates a shape estimation module that utilizes probabilistic correspondence alignment, a pose estimation module with a refined neural network, and a final parameters mixing module. This multi-modal network robustly reconstructs occluded body regions and enhances the accuracy of the estimated 3D human mesh model. We validated mPSE-CT using proprietary whole-body rigid phantom and volunteer datasets in clinical scenarios. mPSE-CT outperformed the best-performing prior method by 23% and 49.16% in pose and shape estimation respectively, demonstrating its potential for improving clinical outcomes in challenging perioperative environments.
- Abstract（参考訳）: 周術期医療においては, 術前計画における患者の位置決めの最適化, 拡張現実に基づく手術ナビゲーションのための医用画像の正確なオーバーレイ, 回復時の長期不眠のリスク軽減に, 正確な3D患者ポーズと形状推定(PSE)が不可欠である。
従来のPSE法では、RGB-D、赤外線、圧力マップのようなモダリティに依存しており、ベディングや複雑な患者の位置決めによって生じる閉塞に苦しむことが多く、臨床結果に影響を及ぼす不正確な推定に繋がる。
これらの課題に対処するため,本研究では,日常的に取得したCTスキャンから抽出した詳細な幾何学的特徴と深度マップ(mPSE-CT)を融合した初のマルチモーダル・インベッド型3D PSEネットワークを提案する。
mPSE-CTには、確率的アライメントアライメントを利用する形状推定モジュール、洗練されたニューラルネットワークを備えたポーズ推定モジュール、最終的なパラメータ混合モジュールが組み込まれている。
このマルチモーダルネットワークは、隠蔽された身体領域を頑健に再構築し、推定された3次元メッシュモデルの精度を高める。
臨床シナリオにおいて, プロプライエタリな全身剛性ファントムとボランティアデータセットを用いてmPSE-CTを検証した。
mPSE-CTは、それぞれポーズと形状の推定において23%と49.16%で最高のパフォーマンスの先行手法を上回り、周術期の課題において臨床結果を改善する可能性を示した。
関連論文リスト
- Abnormality-Driven Representation Learning for Radiology Imaging [0.8321462983924758]
病変強調型コントラスト学習(LeCL)は,CTスキャンの異なる部位にわたる2次元軸方向スライスにおける異常により引き起こされる視覚的表現を得るための新しい手法である。
本研究は, 腫瘍病変位置, 肺疾患検出, 患者ステージングの3つの臨床的課題に対するアプローチを, 最先端の4つの基礎モデルと比較した。
論文 参考訳（メタデータ） (2024-11-25T13:53:26Z) - 3D-CT-GPT: Generating 3D Radiology Reports through Integration of Large Vision-Language Models [51.855377054763345]
本稿では,VQAに基づく医用視覚言語モデルである3D-CT-GPTについて紹介する。
パブリックデータセットとプライベートデータセットの両方の実験により、3D-CT-GPTはレポートの正確さと品質という点で既存の手法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2024-09-28T12:31:07Z) - Self-supervised 3D Patient Modeling with Multi-modal Attentive Fusion [32.71972792352939]
3次元患者体モデリングは、スマート・メディカル・スキャンおよび手術室における患者の自動位置決めの成功に不可欠である。
既存のCNNベースのエンドツーエンドの患者モデリングソリューションは、通常、大量の関連するトレーニングデータを必要とするカスタマイズされたネットワーク設計を必要とする。
a) 2次元関節局所化のための注意融合を伴うマルチモーダルキーポイント検出モジュールからなる汎用的なモジュール化された3次元患者モデリング手法を提案する。
本手法の有効性を,公用および臨床用両方のデータを用いた広範囲な患者位置決め実験により実証した。
論文 参考訳（メタデータ） (2024-03-05T18:58:55Z) - On the Localization of Ultrasound Image Slices within Point Distribution
Models [84.27083443424408]
甲状腺疾患は高分解能超音波(US)で診断されることが多い
縦断追跡は病理甲状腺形態の変化をモニタリングするための重要な診断プロトコルである。
3次元形状表現におけるUS画像の自動スライスローカライズのためのフレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-01T10:10:46Z) - Comprehensive Validation of Automated Whole Body Skeletal Muscle,
Adipose Tissue, and Bone Segmentation from 3D CT images for Body Composition
Analysis: Towards Extended Body Composition [0.6176955945418618]
ディープラーニングのような強力な人工知能のツールは、3D画像全体を分割し、すべての内部解剖の正確な測定を生成することができるようになった。
これにより、これまで存在した深刻なボトルネック、すなわち手動セグメンテーションの必要性の克服が可能になる。
これらの測定は不可能であったため、フィールドを非常に小さく限られたサブセットに制限した。
論文 参考訳（メタデータ） (2021-06-01T17:30:45Z) - Deep Implicit Statistical Shape Models for 3D Medical Image Delineation [47.78425002879612]
解剖学的構造の3次元デライン化は、医用画像解析の基本的な目標である。
ディープラーニング以前は、解剖学的制約を課し高品質の表面を作り出す統計的形状モデルはコア技術だった。
我々は,CNNの表現力とSSMの頑健さを合体させるデライン化の新しい手法であるディープ暗黙的統計的形状モデル(DISSMs)を提案する。
論文 参考訳（メタデータ） (2021-04-07T01:15:06Z) - Revisiting 3D Context Modeling with Supervised Pre-training for
Universal Lesion Detection in CT Slices [48.85784310158493]
CTスライスにおける普遍的病変検出のための3Dコンテキスト強化2D特徴を効率的に抽出するための修飾擬似3次元特徴ピラミッドネットワーク(MP3D FPN)を提案する。
新たな事前学習手法により,提案したMP3D FPNは,DeepLesionデータセット上での最先端検出性能を実現する。
提案された3Dプリトレーニングウェイトは、他の3D医療画像分析タスクのパフォーマンスを高めるために使用できる。
論文 参考訳（メタデータ） (2020-12-16T07:11:16Z) - Tattoo tomography: Freehand 3D photoacoustic image reconstruction with
an optical pattern [49.240017254888336]
光音響トモグラフィ(PAT)は、形態学的および機能的組織特性の両方を解決することができる新しいイメージング技術である。
現在の欠点は、従来の2Dプローブによって提供される視野の制限である。
本研究では,外部追跡システムを必要としないPATデータの3次元再構成手法を提案する。
論文 参考訳（メタデータ） (2020-11-10T09:27:56Z) - Probabilistic 3D surface reconstruction from sparse MRI information [58.14653650521129]
スパース2次元MR画像データとアレータティック不確実性予測から3次元表面再構成を同時に行うための新しい確率論的深層学習手法を提案する。
本手法は,3つの準直交MR画像スライスから,限られたトレーニングセットから大きな表面メッシュを再構成することができる。
論文 参考訳（メタデータ） (2020-10-05T14:18:52Z) - Deep Volumetric Universal Lesion Detection using Light-Weight Pseudo 3D
Convolution and Surface Point Regression [23.916776570010285]
コンピュータ支援型病変/重要なフィンディング検出技術は、医療画像の核心にある。
そこで本研究では,(1) P3DC演算子を組み込んだ深層アンカーフリーワンステージVULDフレームワークを提案する。
3次元病変の空間範囲を効果的に抑圧する新しいSPR法は、その代表的キーポイントを病変表面にピンポイントすることで実現される。
論文 参考訳（メタデータ） (2020-08-30T19:42:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。