論文の概要: MambaIR: A Simple Baseline for Image Restoration with State-Space Model
- arxiv url: http://arxiv.org/abs/2402.15648v3
- Date: Tue, 15 Oct 2024 02:45:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 13:58:14.285023
- Title: MambaIR: A Simple Baseline for Image Restoration with State-Space Model
- Title(参考訳): MambaIR: ステートスペースモデルによる画像復元のためのシンプルなベースライン
- Authors: Hang Guo, Jinmin Li, Tao Dai, Zhihao Ouyang, Xudong Ren, Shu-Tao Xia,
- Abstract要約: 我々は,バニラ・マンバを改善するために,局部増強とチャンネルアテンションを導入するMambaIRを紹介した。
本手法は,画像SR上でSwinIRを最大0.45dB向上させる。
- 参考スコア(独自算出の注目度): 46.827053426281715
- License:
- Abstract: Recent years have seen significant advancements in image restoration, largely attributed to the development of modern deep neural networks, such as CNNs and Transformers. However, existing restoration backbones often face the dilemma between global receptive fields and efficient computation, hindering their application in practice. Recently, the Selective Structured State Space Model, especially the improved version Mamba, has shown great potential for long-range dependency modeling with linear complexity, which offers a way to resolve the above dilemma. However, the standard Mamba still faces certain challenges in low-level vision such as local pixel forgetting and channel redundancy. In this work, we introduce a simple but effective baseline, named MambaIR, which introduces both local enhancement and channel attention to improve the vanilla Mamba. In this way, our MambaIR takes advantage of the local pixel similarity and reduces the channel redundancy. Extensive experiments demonstrate the superiority of our method, for example, MambaIR outperforms SwinIR by up to 0.45dB on image SR, using similar computational cost but with a global receptive field. Code is available at \url{https://github.com/csguoh/MambaIR}.
- Abstract(参考訳): 近年では画像復元が大幅に進歩しており、主にCNNやTransformersのような現代のディープニューラルネットワークの開発によるものである。
しかし、既存の復元バックボーンは、大域的な受容場と効率的な計算のジレンマに直面し、実際に応用を妨げている。
近年、Selective Structured State Space Model、特に改良されたMambaは、線形複雑性を持つ長距離依存モデリングに大きな可能性を示し、上記のジレンマを解決する方法を提供している。
しかしながら、標準のMambaは、ローカルピクセルのリプレースやチャネルの冗長性といった、低レベルのビジョンにおいて、いくつかの課題に直面している。
本研究では,バニラ・マンバの改良のために,局所的な拡張とチャネルの注意を両立させる,シンプルだが効果的なベースラインであるMambaIRを紹介する。
このようにして、我々のMambaIRは、局所的なピクセル類似性を生かし、チャネルの冗長性を減少させる。
例えば、MambaIRは画像SR上でSwinIRを最大0.45dBで上回り、同様の計算コストを用いるが、大域的受容場を持つ。
コードは \url{https://github.com/csguoh/MambaIR} で入手できる。
関連論文リスト
- PixMamba: Leveraging State Space Models in a Dual-Level Architecture for Underwater Image Enhancement [7.443057703389351]
水中画像強調(UIE)は海洋調査や探査に重要であるが、複雑な色歪みと激しいぼやけによって妨げられている。
近年のディープラーニングに基づく手法は目覚ましい成果を上げているが、これらの手法は高い計算コストと不十分なグローバルモデリングに苦慮している。
我々は,ステートスペースモデル(SSM)を活用して,効率的なグローバル依存性モデリングを実現することにより,これらの課題を克服するために設計された新しいアーキテクチャであるPixMambaを提案する。
論文 参考訳(メタデータ) (2024-06-12T17:34:38Z) - RSDehamba: Lightweight Vision Mamba for Remote Sensing Satellite Image Dehazing [19.89130165954241]
リモートセンシング画像デハージング(RSID)は、高品質な画像復元のための不均一かつ物理的に不規則なヘイズ要素を取り除くことを目的としている。
本稿では,RSID分野におけるRSDhambaと呼ばれるマンバモデル上での最初の軽量ネットワークを提案する。
論文 参考訳(メタデータ) (2024-05-16T12:12:07Z) - IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model [7.842507196763463]
赤外(IR)画像の超解像は、均質な背景画素分布とスパースターゲット領域の課題に直面している。
マンバをベースとした(選択的構造化状態空間モデル)モデルの最近の進歩は、視覚タスクにおいて大きな可能性を示している。
IRSRMamba: Infrared Image Super-Resolution via Mamba-based Wavelet Transform Feature Modulation Model。
論文 参考訳(メタデータ) (2024-05-16T07:49:24Z) - Frequency-Assisted Mamba for Remote Sensing Image Super-Resolution [49.902047563260496]
我々は、リモートセンシング画像(RSI)の超高解像度化のために、視覚状態空間モデル(Mamba)を統合するための最初の試みを開発した。
より優れたSR再構築を実現するため,FMSRと呼ばれる周波数支援型Mambaフレームワークを考案した。
我々のFMSRは、周波数選択モジュール(FSM)、ビジョン状態空間モジュール(VSSM)、ハイブリッドゲートモジュール(HGM)を備えた多層融合アーキテクチャを備えている。
論文 参考訳(メタデータ) (2024-05-08T11:09:24Z) - CU-Mamba: Selective State Space Models with Channel Learning for Image Restoration [7.292363114816646]
本稿では,二つの状態空間モデルフレームワークをU-Netアーキテクチャに組み込んだChannel-Aware U-Shaped Mambaモデルを紹介する。
実験は、CU-Mambaが既存の最先端手法よりも優れていることを検証する。
論文 参考訳(メタデータ) (2024-04-17T22:02:22Z) - RSMamba: Remote Sensing Image Classification with State Space Model [25.32283897448209]
リモートセンシング画像分類のための新しいアーキテクチャであるRSMambaを紹介する。
RSMamba は State Space Model (SSM) をベースにしており、Mamba として知られる効率的なハードウェアを意識した設計を取り入れている。
非時間画像データのモデル化にマンバの容量を増大させる動的マルチパスアクティベーション機構を提案する。
論文 参考訳(メタデータ) (2024-03-28T17:59:49Z) - PointMamba: A Simple State Space Model for Point Cloud Analysis [65.59944745840866]
我々は、最近の代表的状態空間モデル(SSM)であるMambaの成功を、NLPからポイントクラウド分析タスクへ転送するPointMambaを提案する。
従来のトランスフォーマーとは異なり、PointMambaは線形複雑性アルゴリズムを採用し、グローバルなモデリング能力を示しながら計算コストを大幅に削減する。
論文 参考訳(メタデータ) (2024-02-16T14:56:13Z) - Swin-UMamba: Mamba-based UNet with ImageNet-based pretraining [85.08169822181685]
本稿では,医療画像のセグメンテーションに特化して設計された新しいマンバモデルSwin-UMambaを紹介する。
Swin-UMamba は CNN や ViT,最新の Mamba ベースのモデルと比較して,優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2024-02-05T18:58:11Z) - RBSR: Efficient and Flexible Recurrent Network for Burst
Super-Resolution [57.98314517861539]
バースト超解像(BurstSR)は、高解像度(HR)画像を低解像度(LR)画像と雑音画像から再構成することを目的としている。
本稿では,効率よくフレキシブルなリカレントネットワークでフレーム単位のキューを融合させることを提案する。
論文 参考訳(メタデータ) (2023-06-30T12:14:13Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。