論文の概要: I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling
- arxiv url: http://arxiv.org/abs/2405.14022v2
- Date: Wed, 10 Jul 2024 10:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 20:59:57.988967
- Title: I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling
- Title(参考訳): I2I-Mamba:選択状態空間モデリングによるマルチモーダル医用画像合成
- Authors: Omer F. Atli, Bilal Kabas, Fuat Arslan, Mahmut Yurt, Onat Dalmaz, Tolga Çukur,
- Abstract要約: 本稿では,医用画像合成のための新しい敵対モデルI2I-Mambaを提案する。
I2I-Mambaは、ターゲットモダリティ画像の合成における最先端CNNおよびトランスフォーマーベースの手法に対して優れた性能を提供する。
- 参考スコア(独自算出の注目度): 8.909355958696414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, deep learning models comprising transformer components have pushed the performance envelope in medical image synthesis tasks. Contrary to convolutional neural networks (CNNs) that use static, local filters, transformers use self-attention mechanisms to permit adaptive, non-local filtering to sensitively capture long-range context. However, this sensitivity comes at the expense of substantial model complexity, which can compromise learning efficacy particularly on relatively modest-sized imaging datasets. Here, we propose a novel adversarial model for multi-modal medical image synthesis, I2I-Mamba, that leverages selective state space modeling (SSM) to efficiently capture long-range context while maintaining local precision. To do this, I2I-Mamba injects channel-mixed Mamba (cmMamba) blocks in the bottleneck of a convolutional backbone. In cmMamba blocks, SSM layers are used to learn context across the spatial dimension and channel-mixing layers are used to learn context across the channel dimension of feature maps. Comprehensive demonstrations are reported for imputing missing images in multi-contrast MRI and MRI-CT protocols. Our results indicate that I2I-Mamba offers superior performance against state-of-the-art CNN- and transformer-based methods in synthesizing target-modality images.
- Abstract(参考訳): 近年, トランスコンポーネントを含むディープラーニングモデルは, 医用画像合成タスクにおいて, 性能エンベロープを推し進めている。
静的な局所的なフィルタを使用する畳み込みニューラルネットワーク(CNN)とは対照的に、トランスフォーマーは、適応的で非局所的なフィルタリングを許可し、長距離コンテキストを敏感にキャプチャする自己アテンションメカニズムを使用する。
しかし、この感度はモデル複雑さを犠牲にしており、特に比較的控えめな画像データセットでの学習効率を損なう可能性がある。
本稿では, 局所精度を維持しつつ, 長期的コンテキストを効率的に捉えるために, 選択状態空間モデリング(SSM)を活用する, マルチモーダル医用画像合成のための新しい逆モデルI2I-Mambaを提案する。
そのため、I2I-Mambaは、畳み込みバックボーンのボトルネックにチャネル混合Mamba(cmMamba)ブロックを注入する。
cmMambaブロックでは、SSM層は空間次元のコンテキストを学習し、チャネル混合層は特徴写像のチャネル次元のコンテキストを学習する。
マルチコントラストMRIおよびMRI-CTプロトコルにおける画像の欠如を示唆する包括的デモが報告されている。
以上の結果から,I2I-Mambaは,目標モダリティ画像の合成において,最先端CNNおよびトランスフォーマーに基づく手法に対して優れた性能を示すことが示された。
関連論文リスト
- Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution [7.97504951029884]
医用画像超解像のための自己優先型マンバ-UNetネットワーク(SMamba-UNet)を提案する。
提案手法は,Mamba-UNetネットワーク下での自己優先型マルチスケールコンテキスト特徴を学習することを目的としている。
論文 参考訳(メタデータ) (2024-07-08T14:41:53Z) - Scaling Efficient Masked Autoencoder Learning on Large Remote Sensing Dataset [66.15872913664407]
本研究では,高効率なMIMトレーニングを実現するための大規模データセットである textbfRS-4M を紹介する。
本研究では,その意味的富度に基づいて選択されたパッチトークンのサブセットを動的にエンコードし,再構成する,効率的なMIM手法であるtextbfSelectiveMAEを提案する。
実験によると、SelectiveMAEはトレーニング効率を2.2-2.7倍に向上し、ベースラインMIMモデルの分類、検出、セグメンテーション性能を向上させる。
論文 参考訳(メタデータ) (2024-06-17T15:41:57Z) - MindFormer: A Transformer Architecture for Multi-Subject Brain Decoding via fMRI [50.55024115943266]
我々は、fMRI条件の特徴ベクトルを生成するためにMindFormerと呼ばれる新しいトランスフォーマーアーキテクチャを導入する。
MindFormerは,1)fMRI信号から意味論的に意味のある特徴を抽出するIP-Adapterに基づく新しいトレーニング戦略,2)fMRI信号の個人差を効果的に捉える主観的トークンと線形層である。
論文 参考訳(メタデータ) (2024-05-28T00:36:25Z) - NeuroPictor: Refining fMRI-to-Image Reconstruction via Multi-individual Pretraining and Multi-level Modulation [55.51412454263856]
本稿では,fMRI信号を用いた拡散モデル生成過程を直接変調することを提案する。
様々な個人から約67,000 fMRI-imageペアのトレーニングを行うことで,fMRI-to-imageデコーディング能力に優れたモデルが得られた。
論文 参考訳(メタデータ) (2024-03-27T02:42:52Z) - MamMIL: Multiple Instance Learning for Whole Slide Images with State
Space Models [58.39336492765728]
がん診断のゴールドスタンダードである病理診断は、TransformerとMIL(Multiple Case Learning)フレームワークを併用して、全スライド画像(WSI)を用いて、優れたパフォーマンスを実現している。
選択的構造化状態空間モデル(Mamba)とMILとの協調によるWSI分類のためのMamMILフレームワークを提案する。
具体的には、マンバが一方向一次元(一次元)シーケンスモデリングしか行えないという問題を解決するため、双方向状態空間モデルと2次元コンテキスト認識ブロックを革新的に導入する。
論文 参考訳(メタデータ) (2024-03-08T09:02:13Z) - MedMamba: Vision Mamba for Medical Image Classification [0.0]
SS-Conv-SSMは,局所的な特徴を抽出するための畳み込み層と,長距離依存関係をキャプチャするSSMの機能を統合する。
グループ化された畳み込み戦略とチャネルシャッフル演算を用いることで、MedMambaはより少ないモデルパラメータと少ない計算負担を提供することに成功した。
我々の研究は、医用画像分類の新しいベースラインを確立することを目的としており、より強力なSSMベースの人工知能アルゴリズムを開発する上で貴重な洞察を提供する。
論文 参考訳(メタデータ) (2024-03-06T16:49:33Z) - nnMamba: 3D Biomedical Image Segmentation, Classification and Landmark
Detection with State Space Model [24.955052600683423]
本稿では、CNNの強みとステートスペースシーケンスモデル(SSM)の高度な長距離モデリング機能を統合する新しいアーキテクチャであるnnMambaを紹介する。
6つのデータセットの実験では、3D画像のセグメンテーション、分類、ランドマーク検出など、一連の困難なタスクにおいて、nnMambaが最先端のメソッドよりも優れていることが示されている。
論文 参考訳(メタデータ) (2024-02-05T21:28:47Z) - U-Mamba: Enhancing Long-range Dependency for Biomedical Image
Segmentation [10.083902382768406]
バイオメディカルイメージセグメンテーションのための汎用ネットワークであるU-Mambaを紹介する。
ディープシークエンスモデルの新たなファミリーであるState Space Sequence Models (SSM) にインスパイアされ、我々はハイブリッドCNN-SSMブロックを設計する。
我々は,CTおよびMR画像における腹部臓器の3次元分節化,内視鏡画像における計器の分節化,顕微鏡画像における細胞分節化の4つの課題について実験を行った。
論文 参考訳(メタデータ) (2024-01-09T18:53:20Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - ResViT: Residual vision transformers for multi-modal medical image
synthesis [0.0]
本稿では、畳み込み演算子の局所的精度と視覚変換器の文脈的感度を組み合わせ、医用画像合成のための新しい生成逆変換手法ResViTを提案する。
以上の結果から,ResViTと競合する手法の質的観察と定量化の両面での優位性が示唆された。
論文 参考訳(メタデータ) (2021-06-30T12:57:37Z) - TransUNet: Transformers Make Strong Encoders for Medical Image
Segmentation [78.01570371790669]
医用画像のセグメンテーションは医療システムの開発に必須の前提条件である。
様々な医療画像セグメンテーションタスクにおいて、U-Netとして知られるu字型アーキテクチャがデファクトスタンダードとなっている。
医用画像セグメンテーションの強力な代替手段として,トランスフォーマーとU-Netの両方を有効活用するTransUNetを提案する。
論文 参考訳(メタデータ) (2021-02-08T16:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。