論文の概要: MambaIR: A Simple Baseline for Image Restoration with State-Space Model
- arxiv url: http://arxiv.org/abs/2402.15648v2
- Date: Mon, 25 Mar 2024 13:27:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-27 01:25:45.987527
- Title: MambaIR: A Simple Baseline for Image Restoration with State-Space Model
- Title(参考訳): MambaIR: ステートスペースモデルによる画像復元のためのシンプルなベースライン
- Authors: Hang Guo, Jinmin Li, Tao Dai, Zhihao Ouyang, Xudong Ren, Shu-Tao Xia,
- Abstract要約: 我々は,バニラ・マンバを改善するために,局部増強とチャンネルアテンションを導入するMambaIRを紹介した。
本手法は,画像SR上でSwinIRを最大0.45dB向上させる。
- 参考スコア(独自算出の注目度): 46.827053426281715
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Recent years have seen significant advancements in image restoration, largely attributed to the development of modern deep neural networks, such as CNNs and Transformers. However, existing restoration backbones often face the dilemma between global receptive fields and efficient computation, hindering their application in practice. Recently, the Selective Structured State Space Model, especially the improved version Mamba, has shown great potential for long-range dependency modeling with linear complexity, which offers a way to resolve the above dilemma. However, the standard Mamba still faces certain challenges in low-level vision such as local pixel forgetting and channel redundancy. In this work, we introduce a simple but effective baseline, named MambaIR, which introduces both local enhancement and channel attention to improve the vanilla Mamba. In this way, our MambaIR takes advantage of the local pixel similarity and reduces the channel redundancy. Extensive experiments demonstrate the superiority of our method, for example, MambaIR outperforms SwinIR by up to 0.45dB on image SR, using similar computational cost but with a global receptive field. Code is available at \url{https://github.com/csguoh/MambaIR}.
- Abstract(参考訳): 近年では画像復元が大幅に進歩しており、主にCNNやTransformersのような現代のディープニューラルネットワークの開発によるものである。
しかし、既存の復元バックボーンは、大域的な受容場と効率的な計算のジレンマに直面し、実際に応用を妨げている。
近年、Selective Structured State Space Model、特に改良されたMambaは、線形複雑性を持つ長距離依存モデリングに大きな可能性を示し、上記のジレンマを解決する方法を提供している。
しかしながら、標準のMambaは、ローカルピクセルのリプレースやチャネルの冗長性といった、低レベルのビジョンにおいて、いくつかの課題に直面している。
本研究では,バニラ・マンバの改良のために,局所的な拡張とチャネルの注意を両立させる,シンプルだが効果的なベースラインであるMambaIRを紹介する。
このようにして、我々のMambaIRは、局所的なピクセル類似性を生かし、チャネルの冗長性を減少させる。
例えば、MambaIRは画像SR上でSwinIRを最大0.45dBで上回り、同様の計算コストを用いるが、大域的受容場を持つ。
コードは \url{https://github.com/csguoh/MambaIR} で入手できる。
関連論文リスト
- Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳(メタデータ) (2024-05-08T11:09:24Z) - MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 FLOPs [1.7648680700685022]
水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。
近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。
MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。
論文 参考訳(メタデータ) (2024-04-22T05:12:11Z) - CU-Mamba: Selective State Space Models with Channel Learning for Image Restoration [7.292363114816646]
本稿では,二つの状態空間モデルフレームワークをU-Netアーキテクチャに組み込んだChannel-Aware U-Shaped Mambaモデルを紹介する。
実験は、CU-Mambaが既存の最先端手法よりも優れていることを検証する。
論文 参考訳(メタデータ) (2024-04-17T22:02:22Z) - RSMamba: Remote Sensing Image Classification with State Space Model [25.32283897448209]
リモートセンシング画像分類のための新しいアーキテクチャであるRSMambaを紹介する。
RSMamba は State Space Model (SSM) をベースにしており、Mamba として知られる効率的なハードウェアを意識した設計を取り入れている。
非時間画像データのモデル化にマンバの容量を増大させる動的マルチパスアクティベーション機構を提案する。
論文 参考訳(メタデータ) (2024-03-28T17:59:49Z) - ReMamber: Referring Image Segmentation with Mamba Twister [51.291487576255435]
ReMamberは、マルチモーダルなMamba TwisterブロックとMambaのパワーを統合する新しいRISアーキテクチャである。
Mamba Twisterは画像とテキストのインタラクションを明示的にモデル化し、独自のチャネルと空間的ツイスト機構を通じてテキストと視覚的特徴を融合する。
論文 参考訳(メタデータ) (2024-03-26T16:27:37Z) - LightM-UNet: Mamba Assists in Lightweight UNet for Medical Image
Segmentation [10.563051220050035]
本稿では,軽量なフレームワークとして,Mamba と UNet を統合した Lightweight Mamba UNet (LightM-UNet) を紹介する。
特に、LightM-UNetはResidual Vision Mamba Layerを純粋なMamba方式で利用し、深い意味的特徴を抽出し、長距離空間依存をモデル化する。
2つの実世界の2D/3Dデータセットで実施された実験は、LightM-UNetが既存の最先端の文献を上回っていることを示している。
論文 参考訳(メタデータ) (2024-03-08T12:07:42Z) - Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。
Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-05T18:58:11Z) - RBSR: Efficient and Flexible Recurrent Network for Burst
Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。
本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文 参考訳(メタデータ) (2023-06-30T12:14:13Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。