論文の概要: Multi-view X-ray Image Synthesis with Multiple Domain Disentanglement from CT Scans
- arxiv url: http://arxiv.org/abs/2404.11889v2
- Date: Tue, 30 Jul 2024 23:50:55 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 20:15:23.080721
- Title: Multi-view X-ray Image Synthesis with Multiple Domain Disentanglement from CT Scans
- Title(参考訳): マルチビューX線画像合成法
- Authors: Lixing Tan, Shuang Song, Kangneng Zhou, Chengbo Duan, Lanying Wang, Huayang Ren, Linlin Liu, Wei Zhang, Ruoxiu Xiao,
- Abstract要約: 過剰投与されたX線は、ある程度人間の健康への潜在的なリスクを重畳する。
ボリュームスキャンからX線画像へのデータ駆動アルゴリズムは、ペア化されたX線とボリュームデータの不足によって制限される。
我々は,3つの異なる画像領域からのコンテンツとスタイルのゆがみを利用して,X線画像をエンドツーエンドに合成するCT2X-GANを提案する。
- 参考スコア(独自算出の注目度): 10.72672892416061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: X-ray images play a vital role in the intraoperative processes due to their high resolution and fast imaging speed and greatly promote the subsequent segmentation, registration and reconstruction. However, over-dosed X-rays superimpose potential risks to human health to some extent. Data-driven algorithms from volume scans to X-ray images are restricted by the scarcity of paired X-ray and volume data. Existing methods are mainly realized by modelling the whole X-ray imaging procedure. In this study, we propose a learning-based approach termed CT2X-GAN to synthesize the X-ray images in an end-to-end manner using the content and style disentanglement from three different image domains. Our method decouples the anatomical structure information from CT scans and style information from unpaired real X-ray images/ digital reconstructed radiography (DRR) images via a series of decoupling encoders. Additionally, we introduce a novel consistency regularization term to improve the stylistic resemblance between synthesized X-ray images and real X-ray images. Meanwhile, we also impose a supervised process by computing the similarity of computed real DRR and synthesized DRR images. We further develop a pose attention module to fully strengthen the comprehensive information in the decoupled content code from CT scans, facilitating high-quality multi-view image synthesis in the lower 2D space. Extensive experiments were conducted on the publicly available CTSpine1K dataset and achieved 97.8350, 0.0842 and 3.0938 in terms of FID, KID and defined user-scored X-ray similarity, respectively. In comparison with 3D-aware methods ($\pi$-GAN, EG3D), CT2X-GAN is superior in improving the synthesis quality and realistic to the real X-ray images.
- Abstract(参考訳): X線画像は、高分解能で高速な撮像速度のため、術中プロセスにおいて重要な役割を担い、その後のセグメンテーション、登録、再構築を大いに促進する。
しかし、過剰投与されたX線は、ある程度人間の健康への潜在的なリスクを重畳している。
ボリュームスキャンからX線画像へのデータ駆動アルゴリズムは、ペア化されたX線とボリュームデータの不足によって制限される。
既存の手法は主にX線画像全体のモデリングによって実現されている。
本研究では,CT2X-GANという学習手法を用いて,3つの異なる画像領域からのコンテンツとスタイルのゆがみを利用して,X線画像をエンドツーエンドに合成する手法を提案する。
本手法は,CTスキャンから解剖学的構造情報を分離し,非対面実X線画像/デジタル再構成ラジオグラフィ(DRR)画像から一連のデカップリングエンコーダを介してスタイル情報を抽出する。
さらに,合成X線画像と実X線画像とのスタイル的類似性を改善するために,新しい整合性正規化項を導入する。
また,実DRRと合成DRR画像の類似性を計算し,教師付き処理を行う。
我々はさらに、CTスキャンから分離されたコンテンツコードの包括的情報を強化するために、ポーズアテンションモジュールを開発し、低次元空間における高品質なマルチビュー画像合成を容易にする。
CTSpine1Kデータセットを公開し、FID、KID、定義されたX線類似度で97.8350、0.0842、3.0938を達成した。
また,CT2X-GANは3次元認識法(\pi$-GAN, EG3D)と比較して, 合成品質の向上に優れ, 現実のX線画像よりもリアルである。
関連論文リスト
- DiffuX2CT: Diffusion Learning to Reconstruct CT Images from Biplanar X-Rays [41.393567374399524]
条件拡散過程として超スパースX線からのCT再構成をモデル化したDiffuX2CTを提案する。
これにより、DiffuX2CTは2次元X線から3次元構造情報を復元できる構造制御可能な再構成を実現する。
コントリビューションとして,LumbarVと呼ばれる実世界の腰椎CTデータセットを新しいベンチマークとして収集し,X線からのCT再構成の臨床的意義と性能を検証した。
論文 参考訳(メタデータ) (2024-07-18T14:20:04Z) - X-ray2CTPA: Generating 3D CTPA scans from 2D X-ray conditioning [24.233484690096898]
胸部X線または胸部X線撮影(CXR)はCTスキャンと比較して限られた画像撮影を可能にする。
CTスキャンはCXRよりもコストが高く、放射線被曝も大きく、アクセス性も低い。
本研究では,2次元低コントラスト分解能X線入力から3次元高コントラストおよび空間分解能Aスキャンへのクロスモーダル変換について検討する。
論文 参考訳(メタデータ) (2024-06-23T13:53:35Z) - X-Ray: A Sequential 3D Representation For Generation [54.160173837582796]
我々は、X線スキャンにインスパイアされた新しい3Dシーケンシャル表現であるX線を紹介する。
X線は3Dオブジェクトを異なる層で一連の表面フレームに変換するため、画像から3Dモデルを生成するのに適している。
論文 参考訳(メタデータ) (2024-04-22T16:40:11Z) - Radiative Gaussian Splatting for Efficient X-ray Novel View Synthesis [88.86777314004044]
我々は,X線ノベルビュー可視化のための3次元ガウシアンスプラッティングに基づくフレームワーク,すなわちX-ガウシアンを提案する。
実験の結果,X-Gaussianは6.5dBの最先端手法より優れており,トレーニング時間は15%未満であり,推論速度は73倍であることがわかった。
論文 参考訳(メタデータ) (2024-03-07T00:12:08Z) - Multi-View Vertebra Localization and Identification from CT Images [57.56509107412658]
我々は,CT画像からの多視点椎体局在と同定を提案する。
本研究では,3次元問題を異なる視点における2次元局所化および識別タスクに変換する。
本手法は,多視点グローバル情報を自然に学習することができる。
論文 参考訳(メタデータ) (2023-07-24T14:43:07Z) - Perspective Projection-Based 3D CT Reconstruction from Biplanar X-rays [32.98966469644061]
我々は,X線を用いた新しいCT再構成フレームワークPerX2CTを提案する。
提案手法は,各座標に対して異なる特徴の組み合わせを提供し,モデルが3次元位置に関する情報を暗黙的に取得できるようにする。
論文 参考訳(メタデータ) (2023-03-09T14:45:25Z) - X-Ray2EM: Uncertainty-Aware Cross-Modality Image Reconstruction from
X-Ray to Electron Microscopy in Connectomics [55.6985304397137]
膜セグメンテーション品質を向上したEMライクな画像にX線画像を変換する不確実性を考慮した3D再構成モデルを提案する。
これは、よりシンプルで、より高速で、より正確なX線ベースのコネクトロミクスパイプラインを開発する可能性を示している。
論文 参考訳(メタデータ) (2023-03-02T00:52:41Z) - Cross-Modal Contrastive Learning for Abnormality Classification and
Localization in Chest X-rays with Radiomics using a Feedback Loop [63.81818077092879]
医療画像のためのエンドツーエンドのセミスーパーバイスドクロスモーダルコントラスト学習フレームワークを提案する。
まず、胸部X線を分類し、画像特徴を生成するために画像エンコーダを適用する。
放射能の特徴は別の専用エンコーダを通過し、同じ胸部x線から生成された画像の特徴の正のサンプルとして機能する。
論文 参考訳(メタデータ) (2021-04-11T09:16:29Z) - XraySyn: Realistic View Synthesis From a Single Radiograph Through CT
Priors [118.27130593216096]
放射線写真は、X線を用いて患者の内部解剖を視覚化し、3D情報を2次元平面に投影する。
私たちの知る限りでは、ラジオグラフィビューの合成に関する最初の研究である。
本手法は,3次元空間におけるX線撮影の理解を得ることにより,地中骨ラベルを使わずに,X線撮影による骨抽出と骨抑制に応用できることが示唆された。
論文 参考訳(メタデータ) (2020-12-04T05:08:53Z) - End-To-End Convolutional Neural Network for 3D Reconstruction of Knee
Bones From Bi-Planar X-Ray Images [6.645111950779666]
両平面X線画像から直接膝骨を3次元再構成するためのエンドツーエンド畳み込みニューラルネットワーク(CNN)を提案する。
論文 参考訳(メタデータ) (2020-04-02T08:37:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。