論文の概要: MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration

• arxiv url: http://arxiv.org/abs/2411.01399v1
• Date: Sun, 03 Nov 2024 01:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:01.525071
• Title: MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration
• Title（参考訳）: MambaReg:unsupervised deformable multi-Modal Image RegistrationのためのMambaベースの分散畳み込みスパース符号化
• Authors: Kaiang Wen, Bin Xie, Bin Duan, Yan Yan,
• Abstract要約: 従来の学習に基づくアプローチは、登録ネットワークを解釈不可能なブラックボックスと見なすことが多い。 我々は,マンバの長いシーケンスをキャプチャする強力な能力を統合した新しいマンバベースのアーキテクチャであるマンバレグを提案する。 ネットワークは,マルチモーダル画像間の相関を積極的に捉え,集中的な変形場予測を可能にする。
• 参考スコア（独自算出の注目度）: 13.146228081053714
• License:
• Abstract: Precise alignment of multi-modal images with inherent feature discrepancies poses a pivotal challenge in deformable image registration. Traditional learning-based approaches often consider registration networks as black boxes without interpretability. One core insight is that disentangling alignment features and non-alignment features across modalities bring benefits. Meanwhile, it is challenging for the prominent methods for image registration tasks, such as convolutional neural networks, to capture long-range dependencies by their local receptive fields. The methods often fail when the given image pair has a large misalignment due to the lack of effectively learning long-range dependencies and correspondence. In this paper, we propose MambaReg, a novel Mamba-based architecture that integrates Mamba's strong capability in capturing long sequences to address these challenges. With our proposed several sub-modules, MambaReg can effectively disentangle modality-independent features responsible for registration from modality-dependent, non-aligning features. By selectively attending to the relevant features, our network adeptly captures the correlation between multi-modal images, enabling focused deformation field prediction and precise image alignment. The Mamba-based architecture seamlessly integrates the local feature extraction power of convolutional layers with the long-range dependency modeling capabilities of Mamba. Experiments on public non-rigid RGB-IR image datasets demonstrate the superiority of our method, outperforming existing approaches in terms of registration accuracy and deformation field smoothness.
• Abstract（参考訳）: 特徴差によるマルチモーダル画像の正確なアライメントは、変形可能な画像登録において重要な課題となる。 従来の学習に基づくアプローチは、登録ネットワークを解釈不可能なブラックボックスと見なすことが多い。 ひとつの中核的な洞察は、アライメントとモダリティをまたいだ非アライメント機能がメリットをもたらす、ということです。 一方、畳み込みニューラルネットワークのような画像登録タスクの顕著な手法では、その局所受容フィールドによる長距離依存関係のキャプチャが困難である。 これらの手法は、長距離依存や対応を効果的に学習できないために、与えられた画像対が大きなミスアライメントを持つ場合、しばしば失敗する。 本稿では,マンバをベースとした新しいアーキテクチャであるMambaRegを提案する。 提案したいくつかの部分加群により、MambaRegは、モダリティに依存しない非配向的特徴からの登録に責任のあるモダリティ非依存的特徴を効果的に切り離すことができる。 関係する特徴に選択的に対応することにより,マルチモーダル画像間の相関関係を網羅的に把握し,集中変形場予測と高精度な画像アライメントを実現する。 Mambaベースのアーキテクチャは、畳み込み層の局所的な特徴抽出能力を、Mambaの長距離依存性モデリング機能とシームレスに統合する。 パブリックなRGB-IR画像データセットの実験は,登録精度と変形磁場の滑らかさの観点から既存の手法よりも優れていることを示す。

関連論文リスト

• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• Bidirectional Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• ColorMamba: Towards High-quality NIR-to-RGB Spectral Translation with Mamba [0.12499537119440242]
  NIRを可視光スペクトルに変換することは、クロスドメインの複雑さのために困難である。 現在のモデルは、幅広い受容領域と計算効率のバランスをとるのに苦労し、実用的使用を制限している。 そこで我々は,まずスペクトル翻訳タスクにマンバを導入し,カラーマンバ(ColorMamba)という,シンプルで効果的なバックボーンを提案する。
  論文  参考訳（メタデータ） (2024-08-15T11:29:13Z)
• LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
  局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。 このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。 ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
  論文  参考訳（メタデータ） (2024-08-05T16:39:39Z)
• MambaVision: A Hybrid Mamba-Transformer Vision Backbone [54.965143338206644]
  本稿では,視覚応用に適した新しいハイブリッド型Mamba-TransformerバックボーンであるMambaVisionを提案する。 私たちのコアコントリビューションには、視覚的特徴の効率的なモデリング能力を高めるために、Mambaの定式化を再設計することが含まれています。 視覚変換器(ViT)とマンバの統合可能性に関する包括的アブレーション研究を行う。
  論文  参考訳（メタデータ） (2024-07-10T23:02:45Z)
• Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution [7.97504951029884]
  医用画像超解像のための自己優先型マンバ-UNetネットワーク(SMamba-UNet)を提案する。 提案手法は,Mamba-UNetネットワーク下での自己優先型マルチスケールコンテキスト特徴を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-07-08T14:41:53Z)
• RSMamba: Remote Sensing Image Classification with State Space Model [25.32283897448209]
  リモートセンシング画像分類のための新しいアーキテクチャであるRSMambaを紹介する。 RSMamba は State Space Model (SSM) をベースにしており、Mamba として知られる効率的なハードウェアを意識した設計を取り入れている。 非時間画像データのモデル化にマンバの容量を増大させる動的マルチパスアクティベーション機構を提案する。
  論文  参考訳（メタデータ） (2024-03-28T17:59:49Z)
• ReMamber: Referring Image Segmentation with Mamba Twister [51.291487576255435]
  ReMamberは、マルチモーダルなMamba TwisterブロックとMambaのパワーを統合する新しいRISアーキテクチャである。 Mamba Twisterは画像とテキストのインタラクションを明示的にモデル化し、独自のチャネルと空間的ツイスト機構を通じてテキストと視覚的特徴を融合する。
  論文  参考訳（メタデータ） (2024-03-26T16:27:37Z)
• PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition [21.761988930589727]
  PlainMambaは、一般的な視覚認識のために設計された単純な非階層的状態空間モデル(SSM)である。 我々は,マンバの選択的走査過程を視覚領域に適応させ,二次元画像から特徴を学習する能力を高める。 私たちのアーキテクチャは、同一のPlainMambaブロックを積み重ねることで、使いやすく、拡張しやすいように設計されています。
  論文  参考訳（メタデータ） (2024-03-26T13:35:10Z)
• MambaIR: A Simple Baseline for Image Restoration with State-Space Model [46.827053426281715]
  我々は,バニラ・マンバを改善するために,局部増強とチャンネルアテンションを導入するMambaIRを紹介した。 本手法は,画像SR上でSwinIRを最大0.45dB向上させる。
  論文  参考訳（メタデータ） (2024-02-23T23:15:54Z)
• MAD: Modality Agnostic Distance Measure for Image Registration [14.558286801723293]
  マルチモーダル画像登録は多くの医療応用において重要な前処理ステップである。 画像の固有な幾何学をランダムな畳み込みを用いて学習する手法である、Modality Agnostic Distance (MAD)を提案する。 我々は、MADがマルチモーダル画像のアフィニシャルな登録を成功させるだけでなく、従来の計測値よりも大きなキャプチャ範囲を持つことを実証した。
  論文  参考訳（メタデータ） (2023-09-06T09:59:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。