論文の概要: Global and Local Mamba Network for Multi-Modality Medical Image Super-Resolution

• arxiv url: http://arxiv.org/abs/2504.10105v1
• Date: Mon, 14 Apr 2025 11:14:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:51:32.472963
• Title: Global and Local Mamba Network for Multi-Modality Medical Image Super-Resolution
• Title（参考訳）: マルチモーダル医用画像スーパーリゾリューションのためのグローバル・ローカルマンバネットワーク
• Authors: Zexin Ji, Beiji Zou, Xiaoyan Kui, Sebastien Thureau, Su Ruan,
• Abstract要約: マルチモーダル医療画像超解像のためのグローバルでローカルなMambaネットワーク(GLMamba)を提案する。 グローバルマンバブランチは低解像度入力における長距離関係をキャプチャし、局所マンバブランチは高解像度参照画像における短距離詳細に焦点を当てる。 変調器は、グローバルおよびローカルのMambaブロックの変形可能な機能をさらに強化するために設計されている。
• 参考スコア（独自算出の注目度）: 6.646855815619148
• License:
• Abstract: Convolutional neural networks and Transformer have made significant progresses in multi-modality medical image super-resolution. However, these methods either have a fixed receptive field for local learning or significant computational burdens for global learning, limiting the super-resolution performance. To solve this problem, State Space Models, notably Mamba, is introduced to efficiently model long-range dependencies in images with linear computational complexity. Relying on the Mamba and the fact that low-resolution images rely on global information to compensate for missing details, while high-resolution reference images need to provide more local details for accurate super-resolution, we propose a global and local Mamba network (GLMamba) for multi-modality medical image super-resolution. To be specific, our GLMamba is a two-branch network equipped with a global Mamba branch and a local Mamba branch. The global Mamba branch captures long-range relationships in low-resolution inputs, and the local Mamba branch focuses more on short-range details in high-resolution reference images. We also use the deform block to adaptively extract features of both branches to enhance the representation ability. A modulator is designed to further enhance deformable features in both global and local Mamba blocks. To fully integrate the reference image for low-resolution image super-resolution, we further develop a multi-modality feature fusion block to adaptively fuse features by considering similarities, differences, and complementary aspects between modalities. In addition, a contrastive edge loss (CELoss) is developed for sufficient enhancement of edge textures and contrast in medical images.
• Abstract（参考訳）: 畳み込みニューラルネットワークとTransformerは、マルチモードの医療画像の超解像において大きな進歩を遂げた。 しかし、これらの手法は局所学習のための固定受容場を持つか、大域学習のための計算負荷が大きいかのいずれかであり、超解像性能を制限している。 この問題を解決するために、状態空間モデル(特にMamba)を導入し、線形計算複雑性のある画像の長距離依存性を効率的にモデル化する。 Mambaと低解像度画像は、欠落した詳細を補うためにグローバル情報に依存しているのに対し、高解像度参照画像は、正確な超解像のためにより局所的な詳細を提供する必要があるため、マルチモード医療画像の超解像のためのグローバルかつ局所的なMambaネットワーク(GLMamba)を提案する。 具体的に言うと、GLMambaはグローバルなMambaブランチとローカルなMambaブランチを備えた2分岐ネットワークである。 グローバルマンバブランチは低解像度入力における長距離関係をキャプチャし、局所マンバブランチは高解像度参照画像における短距離詳細に焦点を当てる。 また、デフォルムブロックを用いて、両枝の特徴を適応的に抽出し、表現能力を向上する。 変調器は、グローバルおよびローカルのMambaブロックの変形可能な機能をさらに強化するために設計されている。 低解像度画像の参照画像を完全に統合するために,類似性,相違点,相補的側面を考慮し,特徴を適応的に融合させるマルチモーダル特徴融合ブロックを開発した。 さらに, 医用画像におけるエッジテクスチャとコントラストの十分な向上のために, コントラストエッジロス(CELoss)を開発した。

関連論文リスト

• MatIR: A Hybrid Mamba-Transformer Image Restoration Model [95.17418386046054]
  そこで我々は,MatIRと呼ばれるMamba-Transformerハイブリッド画像復元モデルを提案する。 MatIRはTransformer層とMamba層のブロックをクロスサイクルして特徴を抽出する。 Mambaモジュールでは、4つのスキャンパスに沿って横断するImage Inpainting State Space (IRSS)モジュールを導入する。
  論文  参考訳（メタデータ） (2025-01-30T14:55:40Z)
• Global Semantic-Guided Sub-image Feature Weight Allocation in High-Resolution Large Vision-Language Models [50.98559225639266]
  画像全体の意味的関連性が高いサブイメージは、モデルの視覚的理解能力を維持するためによりリッチな視覚情報をカプセル化する。 Global Semantic-Guided Weight Allocator (GSWA)モジュールはその相対情報密度に基づいてサブイメージに重みを割り当てる。 SleighVLは軽量だがハイパフォーマンスなモデルであり、同等のパラメータを持つモデルよりも優れており、より大きなモデルと競合し続けている。
  論文  参考訳（メタデータ） (2025-01-24T06:42:06Z)
• MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration [13.146228081053714]
  従来の学習に基づくアプローチは、登録ネットワークを解釈不可能なブラックボックスと見なすことが多い。 我々は,マンバの長いシーケンスをキャプチャする強力な能力を統合した新しいマンバベースのアーキテクチャであるマンバレグを提案する。 ネットワークは,マルチモーダル画像間の相関を積極的に捉え,集中的な変形場予測を可能にする。
  論文  参考訳（メタデータ） (2024-11-03T01:30:59Z)
• LaMamba-Diff: Linear-Time High-Fidelity Diffusion Models Based on Local Attention and Mamba [54.85262314960038]
  局所的意図的マンバブロックは、大域的コンテキストと局所的詳細の両方を線形複雑性でキャプチャする。 このモデルは, 256x256の解像度で, ImageNet上の様々なモデルスケールでDiTの性能を上回り, 優れたスケーラビリティを示す。 ImageNet 256x256 と 512x512 の最先端拡散モデルと比較すると,最大 62% GFLOP の削減など,我々の最大のモデルには顕著な利点がある。
  論文  参考訳（メタデータ） (2024-08-05T16:39:39Z)
• INF-LLaVA: Dual-perspective Perception for High-Resolution Multimodal Large Language Model [71.50973774576431]
  本稿では,高解像度画像認識のための新しいMLLM INF-LLaVAを提案する。 我々はDCM(Dual-perspective Cropping Module)を導入し、各サブイメージが局所的な視点から連続的な詳細を含むことを保証する。 第2に,グローバルな特徴と局所的な特徴の相互強化を可能にするDEM(Dual-perspective Enhancement Module)を導入する。
  論文  参考訳（メタデータ） (2024-07-23T06:02:30Z)
• Self-Prior Guided Mamba-UNet Networks for Medical Image Super-Resolution [7.97504951029884]
  医用画像超解像のための自己優先型マンバ-UNetネットワーク(SMamba-UNet)を提案する。 提案手法は,Mamba-UNetネットワーク下での自己優先型マルチスケールコンテキスト特徴を学習することを目的としている。
  論文  参考訳（メタデータ） (2024-07-08T14:41:53Z)
• Deform-Mamba Network for MRI Super-Resolution [7.97504951029884]
  MR画像の超解像のための新しいアーキテクチャDeform-Mambaを提案する。 変形ブロックと視覚マンバブロックの2つの分岐からなるデフォルム・マンバエンコーダを開発する。 コンテンツ適応型ローカルかつ効率的なグローバル情報を含むエンコーダの抽出された特徴により、視覚的Mambaデコーダは最終的に高品質なMR画像を生成する。
  論文  参考訳（メタデータ） (2024-07-08T14:07:26Z)
• FusionMamba: Dynamic Feature Enhancement for Multimodal Image Fusion with Mamba [19.761723108363796]
  FusionMamba はコンピュータビジョンタスクにおいて CNN や Vision Transformers (ViT) が直面する課題を克服することを目的としている。 このフレームワークは動的畳み込みとチャネルアテンション機構を統合することで、視覚的状態空間モデルMambaを改善している。 実験により、FusionMambaは様々なマルチモーダル画像融合タスクや下流実験で最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-15T06:37:21Z)
• LKM-UNet: Large Kernel Vision Mamba UNet for Medical Image Segmentation [9.862277278217045]
  本稿では,医療画像分割のためのLKM-U-shape Network(LKM-UNet)を提案する。 LKM-UNetの際立った特徴は、小さなカーネルベースのCNNやトランスフォーマーに比べて、局所的な空間モデリングに優れた大きなMambaカーネルの利用である。 包括的実験は、大規模なマンバ核を用いて大きな受容場を実現することの実現可能性と有効性を示す。
  論文  参考訳（メタデータ） (2024-03-12T05:34:51Z)
• Scale-aware Super-resolution Network with Dual Affinity Learning for Lesion Segmentation from Medical Images [50.76668288066681]
  低解像度医用画像から様々な大きさの病変を適応的に分割する,スケールアウェアな超解像ネットワークを提案する。 提案するネットワークは,他の最先端手法と比較して一貫した改善を実現した。
  論文  参考訳（メタデータ） (2023-05-30T14:25:55Z)
• InfinityGAN: Towards Infinite-Resolution Image Synthesis [92.40782797030977]
  任意の解像度画像を生成するinfinityganを提案する。 少ない計算資源でパッチバイパッチをシームレスに訓練し、推論する方法を示す。
  論文  参考訳（メタデータ） (2021-04-08T17:59:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。