論文の概要: MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration

• arxiv url: http://arxiv.org/abs/2411.01399v1
• Date: Sun, 03 Nov 2024 01:30:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:01.525071
• Title: MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration
• Title（参考訳）: MambaReg:unsupervised deformable multi-Modal Image RegistrationのためのMambaベースの分散畳み込みスパース符号化
• Authors: Kaiang Wen, Bin Xie, Bin Duan, Yan Yan,
• Abstract要約: 従来の学習に基づくアプローチは、登録ネットワークを解釈不可能なブラックボックスと見なすことが多い。 我々は,マンバの長いシーケンスをキャプチャする強力な能力を統合した新しいマンバベースのアーキテクチャであるマンバレグを提案する。 ネットワークは,マルチモーダル画像間の相関を積極的に捉え,集中的な変形場予測を可能にする。
• 参考スコア（独自算出の注目度）: 13.146228081053714
• License:
• Abstract: Precise alignment of multi-modal images with inherent feature discrepancies poses a pivotal challenge in deformable image registration. Traditional learning-based approaches often consider registration networks as black boxes without interpretability. One core insight is that disentangling alignment features and non-alignment features across modalities bring benefits. Meanwhile, it is challenging for the prominent methods for image registration tasks, such as convolutional neural networks, to capture long-range dependencies by their local receptive fields. The methods often fail when the given image pair has a large misalignment due to the lack of effectively learning long-range dependencies and correspondence. In this paper, we propose MambaReg, a novel Mamba-based architecture that integrates Mamba's strong capability in capturing long sequences to address these challenges. With our proposed several sub-modules, MambaReg can effectively disentangle modality-independent features responsible for registration from modality-dependent, non-aligning features. By selectively attending to the relevant features, our network adeptly captures the correlation between multi-modal images, enabling focused deformation field prediction and precise image alignment. The Mamba-based architecture seamlessly integrates the local feature extraction power of convolutional layers with the long-range dependency modeling capabilities of Mamba. Experiments on public non-rigid RGB-IR image datasets demonstrate the superiority of our method, outperforming existing approaches in terms of registration accuracy and deformation field smoothness.
• Abstract（参考訳）: 特徴差によるマルチモーダル画像の正確なアライメントは、変形可能な画像登録において重要な課題となる。 従来の学習に基づくアプローチは、登録ネットワークを解釈不可能なブラックボックスと見なすことが多い。 ひとつの中核的な洞察は、アライメントとモダリティをまたいだ非アライメント機能がメリットをもたらす、ということです。 一方、畳み込みニューラルネットワークのような画像登録タスクの顕著な手法では、その局所受容フィールドによる長距離依存関係のキャプチャが困難である。 これらの手法は、長距離依存や対応を効果的に学習できないために、与えられた画像対が大きなミスアライメントを持つ場合、しばしば失敗する。 本稿では,マンバをベースとした新しいアーキテクチャであるMambaRegを提案する。 提案したいくつかの部分加群により、MambaRegは、モダリティに依存しない非配向的特徴からの登録に責任のあるモダリティ非依存的特徴を効果的に切り離すことができる。 関係する特徴に選択的に対応することにより,マルチモーダル画像間の相関関係を網羅的に把握し,集中変形場予測と高精度な画像アライメントを実現する。 Mambaベースのアーキテクチャは、畳み込み層の局所的な特徴抽出能力を、Mambaの長距離依存性モデリング機能とシームレスに統合する。 パブリックなRGB-IR画像データセットの実験は,登録精度と変形磁場の滑らかさの観点から既存の手法よりも優れていることを示す。

関連論文リスト

• MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
  そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。 MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。 Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
  論文  参考訳（メタデータ） (2025-01-30T14:55:40Z)
• MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
  キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。 マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-20T06:56:30Z)
• Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging [40.80197280147993]
  本研究では,HSI再建の非線形および不適切な特徴を克服するために,マンバインスパイアされたジョイント・アンフォールディング・ネットワーク(MiJUN)を提案する。 本稿では,初期最適化段階への依存を減らすために,高速化された展開ネットワーク方式を提案する。 テンソルモード-$k$展開をMambaネットワークに統合することにより,Mambaによる走査戦略を洗練する。
  論文  参考訳（メタデータ） (2025-01-02T13:56:23Z)
• Mamba-SEUNet: Mamba UNet for Monaural Speech Enhancement [54.427965535613886]
  Mambaは、新しいステートスペースモデル(SSM)として、自然言語処理やコンピュータビジョンに広く応用されている。 本稿では,MambaとU-Net for SEタスクを統合する革新的なアーキテクチャであるMamba-SEUNetを紹介する。
  論文  参考訳（メタデータ） (2024-12-21T13:43:51Z)
• Multi-dimensional Visual Prompt Enhanced Image Restoration via Mamba-Transformer Aggregation [4.227991281224256]
  本稿では,計算効率を犠牲にすることなく,MambaとTransformerの相補的な利点を十分に活用することを提案する。 マンバの選択的走査機構は空間モデリングに焦点をあて、長距離空間依存のキャプチャを可能にする。 トランスフォーマーの自己保持機構は、画像の空間次元と二次的な成長の重荷を回避し、チャネルモデリングに焦点をあてる。
  論文  参考訳（メタデータ） (2024-12-20T12:36:34Z)
• MambaPro: Multi-Modal Object Re-Identification with Mamba Aggregation and Synergistic Prompt [60.10555128510744]
  ReID(Multi-modal object Re-IDentification)は、異なるモダリティから補完的な画像情報を活用することで、特定のオブジェクトを検索することを目的としている。 近年、CLIPのような大規模事前学習モデルでは、従来のシングルモーダルオブジェクトReIDタスクで顕著なパフォーマンスを示している。 マルチモーダルオブジェクトReIDのための新しいフレームワークであるMambaProを紹介する。
  論文  参考訳（メタデータ） (2024-12-14T06:33:53Z)
• Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation [54.96563068182733]
  セグメンテーションタスクのためのテキスト・ツー・イメージ拡散モデル(MADM)を用いたモダリティ適応を提案する。 MADMは、広範囲な画像とテキストのペアで事前訓練されたテキストと画像の拡散モデルを使用して、モデルの相互モダリティ能力を向上する。 我々は,MADMが画像から深度,赤外線,イベントのモダリティといった様々なモダリティタスクにまたがって,最先端の適応性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-10-29T03:49:40Z)
• SIGMA: Selective Gated Mamba for Sequential Recommendation [56.85338055215429]
  最近の進歩であるMambaは、時系列予測において例外的なパフォーマンスを示した。 SIGMA(Selective Gated Mamba)と呼ばれる,シークエンシャルレコメンデーションのための新しいフレームワークを紹介する。 以上の結果から,SIGMAは5つの実世界のデータセットにおいて,現在のモデルよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-08-21T09:12:59Z)
• Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution [7.97504951029884]
  医用画像超解像のための自己優先型マンバ-UNetネットワーク(SMamba-UNet)を提案する。 提案手法は,Mamba-UNetネットワーク下での自己優先型マルチスケールコンテキスト特徴を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-07-08T14:41:53Z)
• RSMamba: Remote Sensing Image Classification with State Space Model [25.32283897448209]
  リモートセンシング画像分類のための新しいアーキテクチャであるRSMambaを紹介する。 RSMamba は State Space Model (SSM) をベースにしており、Mamba として知られる効率的なハードウェアを意識した設計を取り入れている。 非時間画像データのモデル化にマンバの容量を増大させる動的マルチパスアクティベーション機構を提案する。
  論文  参考訳（メタデータ） (2024-03-28T17:59:49Z)
• PlainMamba: Improving Non-Hierarchical Mamba in Visual Recognition [21.761988930589727]
  PlainMambaは、一般的な視覚認識のために設計された単純な非階層的状態空間モデル(SSM)である。 我々は,マンバの選択的走査過程を視覚領域に適応させ,二次元画像から特徴を学習する能力を高める。 私たちのアーキテクチャは、同一のPlainMambaブロックを積み重ねることで、使いやすく、拡張しやすいように設計されています。
  論文  参考訳（メタデータ） (2024-03-26T13:35:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。