論文の概要: MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration

• arxiv url: http://arxiv.org/abs/2412.20066v1
• Date: Sat, 28 Dec 2024 07:40:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:36.480166
• Title: MaIR: A Locality- and Continuity-Preserving Mamba for Image Restoration
• Title（参考訳）: MaIR:画像復元のための局所保存型マンバ
• Authors: Boyun Li, Haiyu Zhao, Wenxin Wang, Peng Hu, Yuanbiao Gou, Xi Peng,
• Abstract要約: 我々は,新しいマンバ画像復元モデル(MaIR)を提案する。 MAIRはNested S-shaped Scanning Strategy (NSS)とSequence Shuffle Attention Block (SSA)で構成されている。 NSSとSSAのおかげで、MaIRは14の挑戦的なデータセットにまたがって40のベースラインを越えた。
• 参考スコア（独自算出の注目度）: 24.66368406718623
• License:
• Abstract: Recent advancements in Mamba have shown promising results in image restoration. These methods typically flatten 2D images into multiple distinct 1D sequences along rows and columns, process each sequence independently using selective scan operation, and recombine them to form the outputs. However, such a paradigm overlooks two vital aspects: i) the local relationships and spatial continuity inherent in natural images, and ii) the discrepancies among sequences unfolded through totally different ways. To overcome the drawbacks, we explore two problems in Mamba-based restoration methods: i) how to design a scanning strategy preserving both locality and continuity while facilitating restoration, and ii) how to aggregate the distinct sequences unfolded in totally different ways. To address these problems, we propose a novel Mamba-based Image Restoration model (MaIR), which consists of Nested S-shaped Scanning strategy (NSS) and Sequence Shuffle Attention block (SSA). Specifically, NSS preserves locality and continuity of the input images through the stripe-based scanning region and the S-shaped scanning path, respectively. SSA aggregates sequences through calculating attention weights within the corresponding channels of different sequences. Thanks to NSS and SSA, MaIR surpasses 40 baselines across 14 challenging datasets, achieving state-of-the-art performance on the tasks of image super-resolution, denoising, deblurring and dehazing. Our codes will be available after acceptance.
• Abstract（参考訳）: マンバの最近の進歩は、画像復元の有望な成果を示している。 これらの方法は、通常、行と列に沿って複数の異なる1Dシーケンスに2D画像を平らにし、選択的なスキャン操作を使用して各シーケンスを独立に処理し、それらを再結合して出力を形成する。 しかし、そのようなパラダイムは2つの重要な側面を見落としている。 一 自然画像に固有の局所的関係及び空間的連続性 二 配列間の相違が、全く異なる方法で展開されたこと。 この欠点を克服するために,マンバをベースとした修復法における2つの問題点を考察する。 一 回復を図りつつ、地域性及び継続性の両方を保ちつつ、スキャン戦略を策定する方法及び 二 全く異なる方法で展開された異なる配列を集約する方法。 これらの問題に対処するために,Nested S-shaped Scanning Strategy (NSS) とSequence Shuffle Attention Block (SSA) からなる新しいMambaベースの画像復元モデルを提案する。 具体的には、NASは、ストライプベースの走査領域とS字型走査経路を介して、入力画像の局所性と連続性をそれぞれ保持する。 SSAは、異なるシーケンスの対応するチャネル内の注意重みを計算することで、シーケンスを集約する。 NSSとSSAのおかげで、MaIRは14の挑戦的なデータセットにまたがって40のベースラインを超え、画像の超解像、デノイング、デノーミング、デノーミングといったタスクにおける最先端のパフォーマンスを達成する。 私たちのコードは受理後利用可能になります。

関連論文リスト

• UD-Mamba: A pixel-level uncertainty-driven Mamba model for medical image segmentation [28.423422060841137]
  不確実性駆動型マンバ(UD-Mamba)は、走査機構にチャネル不確かさを組み込むことで、画素順走査プロセスを再定義する。 UD-Mambaは, 1) 連続走査, 連続走査, 行ごとの走査による高不確実性領域の優先順位付け, 2) カラムを垂直に処理し, 一定間隔でハイ・ロー・ロー・ハイ・ハイ・ハイ・インテリジェンスから移動させるスキップ走査という2つの重要な走査手法を導入している。 本手法は, 病理, 皮膚疾患, 心的タスクを含む3つの異なる医用画像データセットにまたがって, 堅牢なセグメンテーション性能を示す。
  論文  参考訳（メタデータ） (2025-02-04T05:20:33Z)
• Parallel Sequence Modeling via Generalized Spatial Propagation Network [80.66202109995726]
  Generalized Spatial Propagation Network (GSPN)は、2次元空間構造を本質的にキャプチャする最適化された視覚タスクのための新しいアテンションメカニズムである。 GSPNは、空間的コヒーレントな画像データを直接操作し、ラインスキャンアプローチを通じて高密度なペアワイズ接続を形成することにより、制限を克服する。 GSPNは、ImageNet分類、クラス誘導画像生成、テキスト・ツー・イメージ生成などの視覚タスクにおいて、より優れた空間忠実性と最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-01-21T18:56:19Z)
• Detail Matters: Mamba-Inspired Joint Unfolding Network for Snapshot Spectral Compressive Imaging [40.80197280147993]
  本研究では,HSI再建の非線形および不適切な特徴を克服するために,マンバインスパイアされたジョイント・アンフォールディング・ネットワーク(MiJUN)を提案する。 本稿では,初期最適化段階への依存を減らすために,高速化された展開ネットワーク方式を提案する。 テンソルモード-$k$展開をMambaネットワークに統合することにより,Mambaによる走査戦略を洗練する。
  論文  参考訳（メタデータ） (2025-01-02T13:56:23Z)
• Spatial-Mamba: Effective Visual State Space Models via Structure-Aware State Fusion [46.82975707531064]
  SSM(Selective State Space Model)は、1Dシーケンシャルデータにおける長距離依存関係のキャプチャに優れる。 本研究では,地域間直接接続を実現する新しいアプローチであるSpatial-Mambaを提案する。 画像分類,検出,セグメンテーションにおいて,空間マンバは,単一のスキャンであっても,最先端のSSMベースのモデルを達成したり,超えたりしていることを示す。
  論文  参考訳（メタデータ） (2024-10-19T12:56:58Z)
• V2M: Visual 2-Dimensional Mamba for Image Representation Learning [68.51380287151927]
  Mambaは、フレキシブルな設計と、1Dシーケンスを処理するための効率的なハードウェア性能のために、広く注目を集めている。 最近の研究では、マンバを2D画像をパッチに平らにすることで視覚領域に適用し、それらを1Dシークエンスとして扱うことが試みられている。 2次元空間における画像トークンを直接処理する完全解として,視覚的2次元マンバモデルを提案する。
  論文  参考訳（メタデータ） (2024-10-14T11:11:06Z)
• GlobalMamba: Global Image Serialization for Vision Mamba [73.50475621164037]
  視覚マンバは、視覚トークンの数に対して線形複雑度で強い性能を示した。 既存のほとんどの方法はパッチベースの画像トークン化を採用し、因果処理のためにそれらを1Dシーケンスにフラット化する。 本稿では,グローバルな画像シリアライズ手法を提案し,その画像を因果トークンのシーケンスに変換する。
  論文  参考訳（メタデータ） (2024-10-14T09:19:05Z)
• MambaCSR: Dual-Interleaved Scanning for Compressed Image Super-Resolution With SSMs [14.42424591513825]
  MambaCSRは、圧縮画像超解像(CSR)タスクのためのMambaをベースにしたフレームワークである。 本稿では,2つの走査戦略からなるCSRのための効率的なデュアルインターリーブ走査パラダイム(DIS)を提案する。 複数のベンチマークの結果から,圧縮画像超解像タスクにおけるMambaCSRの優れた性能が示された。
  論文  参考訳（メタデータ） (2024-08-21T16:30:45Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Matching in the Wild: Learning Anatomical Embeddings for Multi-Modality Images [28.221419419614183]
  放射線療法士は、両方のモダリティからの情報を効果的に活用するために、MR/CT画像の正確な登録を必要とする。 近年の学習に基づく手法は, 剛体/ファインステップにおいて有望な結果を示した。 そこで我々は,クロスモダリティマッチングを可能にするCross-SAMと呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-07T11:49:06Z)
• Towards Accurate Image Coding: Improved Autoregressive Image Generation with Dynamic Vector Quantization [73.52943587514386]
  既存のベクトル量子化(VQ)ベースの自己回帰モデルは、2段階生成パラダイムに従う。 画像領域を可変長符号に符号化する動的量子化VAE(DQ-VAE)を提案する。
  論文  参考訳（メタデータ） (2023-05-19T14:56:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。