論文の概要: Bringing together invertible UNets with invertible attention modules for memory-efficient diffusion models

• arxiv url: http://arxiv.org/abs/2504.10883v1
• Date: Tue, 15 Apr 2025 05:26:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:11:43.731330
• Title: Bringing together invertible UNets with invertible attention modules for memory-efficient diffusion models
• Title（参考訳）: メモリ効率拡散モデルのための可逆的注意モジュールを持つ可逆ユニセットを結合する
• Authors: Karan Jain, Mohammad Nayeem Teli,
• Abstract要約: 高次元医用データセットの拡散モデルのための1つのGPUメモリ効率トレーニングのための新しいアーキテクチャを提案する。 提案モデルは,非可逆アテンションモジュールを持つ非可逆UNetアーキテクチャを用いて構築される。 この新モデルは、多数の画像生成タスクに適用できるが、3D BraTS 2020データセットにそのメモリ効率を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Diffusion models have recently gained state of the art performance on many image generation tasks. However, most models require significant computational resources to achieve this. This becomes apparent in the application of medical image synthesis due to the 3D nature of medical datasets like CT-scans, MRIs, electron microscope, etc. In this paper we propose a novel architecture for a single GPU memory-efficient training for diffusion models for high dimensional medical datasets. The proposed model is built by using an invertible UNet architecture with invertible attention modules. This leads to the following two contributions: 1. denoising diffusion models and thus enabling memory usage to be independent of the dimensionality of the dataset, and 2. reducing the energy usage during training. While this new model can be applied to a multitude of image generation tasks, we showcase its memory-efficiency on the 3D BraTS2020 dataset leading to up to 15\% decrease in peak memory consumption during training with comparable results to SOTA while maintaining the image quality.
• Abstract（参考訳）: 拡散モデルは、最近、多くの画像生成タスクで最先端のパフォーマンスを得た。 しかし、ほとんどのモデルはこれを達成するのにかなりの計算資源を必要とする。 これは、CTスキャン、MRI、電子顕微鏡などの医学データセットの3D性質による医用画像合成の応用において明らかになる。 本稿では,高次元医用データセットの拡散モデルのための単一のGPUメモリ効率トレーニングのための新しいアーキテクチャを提案する。 提案モデルは,非可逆アテンションモジュールを持つ非可逆UNetアーキテクチャを用いて構築される。 これは以下の2つの貢献につながります。 一 拡散モデルを通知し、メモリ使用をデータセットの寸法によらないようにし、 2. 訓練中のエネルギー使用量を減らすこと。 この新モデルは画像生成タスクに適用できるが、3D BraTS2020データセットのメモリ効率は最大15倍まで低下し、画像品質を維持しながらSOTAに匹敵する結果が得られる。

関連論文リスト

• Masked LoGoNet: Fast and Accurate 3D Image Analysis for Medical Domain [46.44049019428938]
  我々はLoGoNetと呼ばれる新しいニューラルネットワークアーキテクチャを導入する。 LoGoNetは、LKA(Large Kernel Attention)とデュアルエンコーディング戦略を利用して、U字型アーキテクチャに新しい特徴抽出器を統合する。 大規模ラベル付きデータセットの欠如を補うために,3次元画像に適した新しいSSL方式を提案する。
  論文  参考訳（メタデータ） (2024-02-09T05:06:58Z)
• A 3D generative model of pathological multi-modal MR images and segmentations [3.4806591877889375]
  脳MRIと関連セグメンテーションのための3次元生成モデルである脳SPADE3Dを提案する。 提案した共同画像分割生成モデルを用いて,高忠実度合成画像と関連するセグメンテーションを生成する。 データに予期せぬ病理が存在する場合、セグメント化モデルの性能に関する問題をモデルが緩和する方法を実証する。
  論文  参考訳（メタデータ） (2023-11-08T09:36:37Z)
• HoloDiffusion: Training a 3D Diffusion Model using 2D Images [71.1144397510333]
  我々は,2次元画像のみを監督のために配置した,エンドツーエンドでトレーニング可能な新しい拡散装置を導入する。 我々の拡散モデルはスケーラブルで、頑健に訓練されており、既存の3次元生成モデルへのアプローチに対して、サンプルの品質と忠実さの点で競争力があることを示す。
  論文  参考訳（メタデータ） (2023-03-29T07:35:56Z)
• Memory-Efficient 3D Denoising Diffusion Models for Medical Image Processing [0.9424565541639366]
  本稿では,3次元拡散モデルにおける資源消費の削減法について述べる。 本論文の主な貢献は,メモリ効率のパッチベース拡散モデルである。 提案した拡散モデルは,任意の画像生成タスクに適用できるが,BraTS 2020データセットの腫瘍セグメンテーションタスクについて評価する。
  論文  参考訳（メタデータ） (2023-03-27T15:10:19Z)
• Solving 3D Inverse Problems using Pre-trained 2D Diffusion Models [33.343489006271255]
  拡散モデルは、高品質なサンプルを持つ新しい最先端の生成モデルとして登場した。 そこで本研究では, モデルに基づく2次元拡散を, 全次元にわたるコヒーレントな再構成を達成できるように, 実験時の残りの方向で先行する2次元拡散を拡大することを提案する。 提案手法は,1つのコモディティGPU上で動作可能であり,新しい最先端技術を確立する。
  論文  参考訳（メタデータ） (2022-11-19T10:32:21Z)
• GLEAM: Greedy Learning for Large-Scale Accelerated MRI Reconstruction [50.248694764703714]
  アンロールされたニューラルネットワークは、最近最先端の加速MRI再構成を達成した。 これらのネットワークは、物理ベースの一貫性とニューラルネットワークベースの正規化を交互に組み合わせることで、反復最適化アルゴリズムをアンロールする。 我々は,高次元画像設定のための効率的なトレーニング戦略である加速度MRI再構成のためのグレディ・ラーニングを提案する。
  論文  参考訳（メタデータ） (2022-07-18T06:01:29Z)
• Classification of Brain Tumours in MR Images using Deep Spatiospatial Models [0.0]
  本稿では、ResNet (2+1)DとResNet Mixed Convolutionの2つの時間モデルを用いて、異なるタイプの脳腫瘍を分類する。 両モデルとも純粋な3次元畳み込みモデルであるResNet18よりも優れていた。
  論文  参考訳（メタデータ） (2021-05-28T19:27:51Z)
• Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN [52.851990439671475]
  本稿では,高解像度な3D画像を生成することができる新しいエンドツーエンドGANアーキテクチャを提案する。 トレーニングと推論の異なる構成を使用することで、この目標を達成する。 3次元胸郭CTと脳MRIの実験により、我々のアプローチは画像生成における最先端技術より優れていることが示された。
  論文  参考訳（メタデータ） (2020-08-05T02:33:04Z)
• Modelling the Distribution of 3D Brain MRI using a 2D Slice VAE [66.63629641650572]
  本研究では,2次元スライスVAEとガウスモデルを組み合わせた3次元MR脳の体積分布をモデル化する手法を提案する。 また,本研究では,脳解剖学に適合するセグメンテーションの精度を定量的に評価する新たなボリューム評価手法を提案する。
  論文  参考訳（メタデータ） (2020-07-09T13:23:15Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。