論文の概要: AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation

• arxiv url: http://arxiv.org/abs/2501.12840v1
• Date: Wed, 22 Jan 2025 12:29:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 13:29:39.489828
• Title: AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation
• Title（参考訳）: AMM-Diff:適応型多モード拡散ネットワーク
• Authors: Aghiles Kebaili, Jérôme Lapuyade-Lahorgue, Pierre Vera, Su Ruan,
• Abstract要約: 臨床実践において、フルイメージングは必ずしも実現可能ではなく、多くの場合、複雑な取得プロトコル、厳格なプライバシ規則、特定の臨床ニーズのためである。 有望な解決策は、利用可能なものから欠落したモダリティが生成されるデータ計算の欠如である。 適応多モード拡散ネットワーク (AMM-Diff) を提案する。
• 参考スコア（独自算出の注目度）: 2.8498944632323755
• License:
• Abstract: In clinical practice, full imaging is not always feasible, often due to complex acquisition protocols, stringent privacy regulations, or specific clinical needs. However, missing MR modalities pose significant challenges for tasks like brain tumor segmentation, especially in deep learning-based segmentation, as each modality provides complementary information crucial for improving accuracy. A promising solution is missing data imputation, where absent modalities are generated from available ones. While generative models have been widely used for this purpose, most state-of-the-art approaches are limited to single or dual target translations, lacking the adaptability to generate missing modalities based on varying input configurations. To address this, we propose an Adaptive Multi-Modality Diffusion Network (AMM-Diff), a novel diffusion-based generative model capable of handling any number of input modalities and generating the missing ones. We designed an Image-Frequency Fusion Network (IFFN) that learns a unified feature representation through a self-supervised pretext task across the full input modalities and their selected high-frequency Fourier components. The proposed diffusion model leverages this representation, encapsulating prior knowledge of the complete modalities, and combines it with an adaptive reconstruction strategy to achieve missing modality completion. Experimental results on the BraTS 2021 dataset demonstrate the effectiveness of our approach.
• Abstract（参考訳）: 臨床実践において、フルイメージングは必ずしも実現可能ではなく、多くの場合、複雑な取得プロトコル、厳格なプライバシ規則、特定の臨床ニーズのためである。 しかし、MRモダリティの欠如は、特に深層学習に基づくセグメンテーションにおいて、脳腫瘍セグメンテーションのようなタスクに重大な課題をもたらす。 有望な解決策は、利用可能なものから欠落したモダリティが生成されるデータ計算の欠如である。 生成モデルは、この目的のために広く使われているが、最先端のほとんどのアプローチは、単一または二重ターゲットの翻訳に限られており、様々な入力構成に基づいて欠落したモダリティを生成する適応性に欠ける。 そこで本研究では,任意の入力モダリティを扱える新しい拡散モデルであるAdaptive Multi-Modality Diffusion Network (AMM-Diff)を提案する。 IFFN(Image-Frequency Fusion Network)を設計し、全入力モードと選択した高周波フーリエ成分をまたいだ自己教師付きプレテキストタスクにより、統一された特徴表現を学習する。 提案した拡散モデルは, この表現を活用し, 完全モダリティの事前知識をカプセル化し, 適応的再構成戦略と組み合わせ, 欠落したモダリティの完備化を実現する。 BraTS 2021データセットの実験結果は、我々のアプローチの有効性を実証している。

関連論文リスト

• MedMAP: Promoting Incomplete Multi-modal Brain Tumor Segmentation with Alignment [20.358300924109162]
  臨床ではMRIの特定のモダリティが欠如している可能性があるため、より困難なシナリオが提示される。 知識蒸留、ドメイン適応、共有潜在空間は一般的に有望な戦略として現れている。 本稿では,事前学習モデルの置換として,係わるモダリティの潜在的特徴を適切に定義された分布アンカーに整合させる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-18T13:16:30Z)
• HyperMM : Robust Multimodal Learning with Varying-sized Inputs [4.377889826841039]
  HyperMMは、さまざまなサイズの入力で学習するために設計されたエンドツーエンドフレームワークである。 本稿では,条件付きハイパーネットワークを用いたユニバーサル特徴抽出器のトレーニング手法を提案する。 アルツハイマー病の診断と乳癌の分類の2つの課題において,本手法の利点を実験的に実証した。
  論文  参考訳（メタデータ） (2024-07-30T12:13:18Z)
• Dealing with All-stage Missing Modality: Towards A Universal Model with Robust Reconstruction and Personalization [14.606035444283984]
  現在のアプローチでは、推論中にモダリティ不完全入力を処理するモデルの開発に重点を置いている。 本稿では、モダリティ再構成とモデルパーソナライゼーションを備えた頑健な普遍モデルを提案する。 本手法は2つの脳腫瘍セグメンテーションベンチマークで広範囲に検証されている。
  論文  参考訳（メタデータ） (2024-06-04T06:07:24Z)
• Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
  本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。 任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。 AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
  論文  参考訳（メタデータ） (2024-05-06T11:02:02Z)
• Cross-Modal Vertical Federated Learning for MRI Reconstruction [42.527873703840996]
  フェデレート・ラーニング(Federated Learning)は、複数の病院がプライバシーの開示なしに共有モデルを共同で学習することを可能にする。 我々は、MRI再建を促進するための新しいフレームワーク、フェデレート・一貫性規則化制約付き特徴分散(Fed-CRFD)を開発した。 本手法は,領域シフト問題を緩和しつつ,病院からのマルチソースデータを完全に活用することができる。
  論文  参考訳（メタデータ） (2023-06-05T08:07:01Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• Modality Completion via Gaussian Process Prior Variational Autoencoders for Multi-Modal Glioma Segmentation [75.58395328700821]
  本稿では,患者スキャンに欠落するサブモダリティを1つ以上のインプットするために,MGP-VAE(Multi-modal Gaussian Process Prior Variational Autoencoder)を提案する。 MGP-VAEは、変分オートエンコーダ(VAE)に先立ってガウス過程(GP)を利用して、被験者/患者およびサブモダリティ相関を利用することができる。 4つのサブモダリティのうち2つ、または3つが欠落している脳腫瘍に対するMGP-VAEの適用性を示す。
  論文  参考訳（メタデータ） (2021-07-07T19:06:34Z)
• ACN: Adversarial Co-training Network for Brain Tumor Segmentation with Missing Modalities [26.394130795896704]
  本稿では,この問題を解決するために,新たにACN(Adversarial Co-Training Network)を提案する。 ACNは、相互のドメインを補うために、完全なモダリティと欠落したモダリティの両方に複合的な学習プロセスを可能にする。 提案手法は, 欠落した状況下において, 全ての最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2021-06-28T11:53:11Z)
• Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion [71.87627318863612]
  画像モダリティの欠如に頑健な新しいマルチモーダルセグメンテーションフレームワークを提案する。 我々のネットワークは、入力モードをモダリティ固有の外観コードに分解するために、特徴不整合を用いる。 我々は,BRATSチャレンジデータセットを用いて,重要なマルチモーダル脳腫瘍セグメンテーション課題に対する本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-02-22T14:32:04Z)
• Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
  異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。 我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。 実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。