論文の概要: Dual-Domain CLIP-Assisted Residual Optimization Perception Model for Metal Artifact Reduction

• arxiv url: http://arxiv.org/abs/2408.14342v2
• Date: Thu, 29 Aug 2024 09:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 18:15:34.378984
• Title: Dual-Domain CLIP-Assisted Residual Optimization Perception Model for Metal Artifact Reduction
• Title（参考訳）: 金属アーチファクト低減のためのデュアルドメインCLIP支援残留最適知覚モデル
• Authors: Xinrui Zhang, Ailong Cai, Shaoyu Wang, Linyuan Wang, Zhizhong Zheng, Lei Li, Bin Yan,
• Abstract要約: CT(Computed tomography)画像における金属遺物は,正確な臨床診断に重要な課題である。 深層学習に基づくアプローチ、特に生成モデルは、金属人工物還元(MAR)のために提案されている。
• 参考スコア（独自算出の注目度）: 9.028901322902913
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Metal artifacts in computed tomography (CT) imaging pose significant challenges to accurate clinical diagnosis. The presence of high-density metallic implants results in artifacts that deteriorate image quality, manifesting in the forms of streaking, blurring, or beam hardening effects, etc. Nowadays, various deep learning-based approaches, particularly generative models, have been proposed for metal artifact reduction (MAR). However, these methods have limited perception ability in the diverse morphologies of different metal implants with artifacts, which may generate spurious anatomical structures and exhibit inferior generalization capability. To address the issues, we leverage visual-language model (VLM) to identify these morphological features and introduce them into a dual-domain CLIP-assisted residual optimization perception model (DuDoCROP) for MAR. Specifically, a dual-domain CLIP (DuDoCLIP) is fine-tuned on the image domain and sinogram domain using contrastive learning to extract semantic descriptions from anatomical structures and metal artifacts. Subsequently, a diffusion model is guided by the embeddings of DuDoCLIP, thereby enabling the dual-domain prior generation. Additionally, we design prompt engineering for more precise image-text descriptions that can enhance the model's perception capability. Then, a downstream task is devised for the one-step residual optimization and integration of dual-domain priors, while incorporating raw data fidelity. Ultimately, a new perceptual indicator is proposed to validate the model's perception and generation performance. With the assistance of DuDoCLIP, our DuDoCROP exhibits at least 63.7% higher generalization capability compared to the baseline model. Numerical experiments demonstrate that the proposed method can generate more realistic image structures and outperform other SOTA approaches both qualitatively and quantitatively.
• Abstract（参考訳）: CT(Computed tomography)画像における金属遺物は,正確な臨床診断に重要な課題である。 高密度金属インプラントの存在は、画像品質を劣化させ、ストリーキング、ぼやけ、ビーム硬化効果などの形で現れるアーティファクトをもたらす。 近年, 各種深層学習に基づくアプローチ, 特に生成モデルが, 金属人工物還元 (MAR) のために提案されている。 しかし、これらの手法は、異なる金属インプラントと人工物との多様な形態において知覚能力に限界があり、これは突発的な解剖学的構造を生じさせ、より低い一般化能力を示す可能性がある。 この問題に対処するために、視覚言語モデル(VLM)を用いてこれらの形態的特徴を識別し、MARのための二重ドメインCLIP支援残差最適化認識モデル(DuDoCROP)に導入する。 具体的には、二重ドメインCLIP(DuDoCLIP)をコントラスト学習を用いて画像ドメインとシングラムドメインに微調整し、解剖学的構造や金属人工物から意味記述を抽出する。 その後、拡散モデルをDuDoCLIPの埋め込みによって導出し、二重領域事前生成を可能にする。 さらに、より正確な画像テキスト記述のためのプロンプトエンジニアリングを設計し、モデルの知覚能力を高める。 そして、生データ忠実度を取り入れつつ、1ステップの残差最適化と2つのドメイン事前の統合のために下流タスクを考案する。 最終的に、モデルの知覚と生成性能を検証するために、新しい知覚指標が提案される。 DuDoCLIPの助けを借りて、DuDoCROPはベースラインモデルと比較して少なくとも63.7%高い一般化能力を示す。 数値実験により,提案手法はより現実的な画像構造を生成でき,他のSOTA手法よりも質的,定量的に優れていることが示された。

関連論文リスト

• Self-supervised Vision Transformer are Scalable Generative Models for Domain Generalization [0.13108652488669734]
  病理組織像における領域一般化のための新しい生成法を提案する。 本手法では,画像パッチの特徴を動的に抽出するために,生成型自己教師型視覚変換器を用いる。 2つの異なる病理組織学的データセットを用いて行った実験は,提案手法の有効性を示した。
  論文  参考訳（メタデータ） (2024-07-03T08:20:27Z)
• Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images [68.42215385041114]
  本稿では,CLIPモデルを用いた医用異常検出のための軽量な多レベル適応と比較フレームワークを提案する。 提案手法では,複数の残像アダプタを事前学習した視覚エンコーダに統合し,視覚的特徴の段階的向上を実現する。 医学的異常検出ベンチマーク実験により,本手法が現在の最先端モデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2024-03-19T09:28:19Z)
• PUGAN: Physical Model-Guided Underwater Image Enhancement Using GAN with Dual-Discriminators [120.06891448820447]
  鮮明で視覚的に快適な画像を得る方法は、人々の共通の関心事となっている。 水中画像強調(UIE)の課題も、時間とともに現れた。 本稿では,UIE のための物理モデル誘導型 GAN モデルを提案する。 我々のPUGANは質的および定量的な測定値において最先端の手法より優れています。
  論文  参考訳（メタデータ） (2023-06-15T07:41:12Z)
• Orientation-Shared Convolution Representation for CT Metal Artifact Learning [63.67718355820655]
  X線CT(CT)スキャン中、患者を乗せた金属インプラントは、しばしば有害なアーティファクトに繋がる。 既存のディープラーニングベースの手法は、有望な再構築性能を得た。 本稿では,人工物の物理的事前構造に適応するために,配向型畳み込み表現戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-26T13:56:12Z)
• ROCT-Net: A new ensemble deep convolutional model with improved spatial resolution learning for detecting common diseases from retinal OCT images [0.0]
  本稿では,OCT画像から網膜疾患を検出するために,新たな深層アンサンブル畳み込みニューラルネットワークを提案する。 本モデルは,2つの頑健な畳み込みモデルの学習アーキテクチャを用いて,リッチかつマルチレゾリューションな特徴を生成する。 2つのデータセットに関する実験と、他のよく知られた深層畳み込みニューラルネットワークとの比較により、アーキテクチャが分類精度を最大5%向上できることが証明された。
  論文  参考訳（メタデータ） (2022-03-03T17:51:01Z)
• InDuDoNet+: A Model-Driven Interpretable Dual Domain Network for Metal Artifact Reduction in CT Images [53.4351366246531]
  InDuDoNet+と呼ばれる新しい解釈可能な二重ドメインネットワークを構築し、CT画像の微細な埋め込みを行う。 異なる組織間のCT値を分析し,InDuDoNet+の事前観測ネットワークにマージすることで,その一般化性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-23T15:52:37Z)
• DAN-Net: Dual-Domain Adaptive-Scaling Non-local Network for CT Metal Artifact Reduction [15.225899631788973]
  金属インプラントはCTスキャンでX線を著しく減衰させ、再構成された画像に深刻なアーティファクトをもたらす。 CTにおける金属アーチファクト低減(MAR)のためのネットワークモデルがいくつか提案されている。 MARのための新しいデュアルドメイン適応スケーリング非ローカルネットワーク(DAN-Net)を紹介します。
  論文  参考訳（メタデータ） (2021-02-16T08:09:16Z)
• Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN [52.851990439671475]
  本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。 トレーニングと推論の異なる構成を使用することで、この目標を達成する。 3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-05T02:33:04Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。