論文の概要: MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 FLOPs

• arxiv url: http://arxiv.org/abs/2404.13884v1
• Date: Mon, 22 Apr 2024 05:12:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-23 15:16:29.678408
• Title: MambaUIE&SR: Unraveling the Ocean's Secrets with Only 2.8 FLOPs
• Title（参考訳）: MambaUIE&SR:2.8 FLOPsで海の秘密を解き放つ
• Authors: Zhihao Chen, Yiyuan Ge,
• Abstract要約: 水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。 近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。 MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。
• 参考スコア（独自算出の注目度）: 1.7648680700685022
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Underwater Image Enhancement (UIE) techniques aim to address the problem of underwater image degradation due to light absorption and scattering. In recent years, both Convolution Neural Network (CNN)-based and Transformer-based methods have been widely explored. In addition, combining CNN and Transformer can effectively combine global and local information for enhancement. However, this approach is still affected by the secondary complexity of the Transformer and cannot maximize the performance. Recently, the state-space model (SSM) based architecture Mamba has been proposed, which excels in modeling long distances while maintaining linear complexity. This paper explores the potential of this SSM-based model for UIE from both efficiency and effectiveness perspectives. However, the performance of directly applying Mamba is poor because local fine-grained features, which are crucial for image enhancement, cannot be fully utilized. Specifically, we customize the MambaUIE architecture for efficient UIE. Specifically, we introduce visual state space (VSS) blocks to capture global contextual information at the macro level while mining local information at the micro level. Also, for these two kinds of information, we propose a Dynamic Interaction Block (DIB) and Spatial feed-forward Network (SGFN) for intra-block feature aggregation. MambaUIE is able to efficiently synthesize global and local information and maintains a very small number of parameters with high accuracy. Experiments on UIEB datasets show that our method reduces GFLOPs by 67.4% (2.715G) relative to the SOTA method. To the best of our knowledge, this is the first UIE model constructed based on SSM that breaks the limitation of FLOPs on accuracy in UIE. The official repository of MambaUIE at https://github.com/1024AILab/MambaUIE.
• Abstract（参考訳）: 水中画像強調(UIE)技術は,光吸収・散乱による水中画像劣化問題に対処することを目的としている。 近年、畳み込みニューラルネットワーク(CNN)とトランスフォーマーベースの手法が広く研究されている。 さらに、CNNとTransformerを組み合わせることで、グローバルとローカルの情報を効果的に組み合わせて強化することができる。 しかし、このアプローチはTransformerの二次的な複雑さの影響を受けており、パフォーマンスを最大化することはできない。 近年,状態空間モデル(SSM)に基づくアーキテクチャであるMambaが提案されている。 本稿では、このSSMベースのUIEモデルの可能性について、効率性と有効性の両方の観点から検討する。 しかし, 画像強調に欠かせない局所的なきめ細かい特徴を十分に活用できないため, 直接マンバを施す性能は低い。 具体的には、効率的なUIEのためにMambaUIEアーキテクチャをカスタマイズする。 具体的には、ローカル情報をマイクロレベルでマイニングしながら、マクロレベルでグローバルなコンテキスト情報をキャプチャするために、視覚状態空間(VSS)ブロックを導入する。 また、これらの2種類の情報に対して、ブロック内特徴集約のための動的相互作用ブロック(DIB)と空間フィードフォワードネットワーク(SGFN)を提案する。 MambaUIEは、グローバルおよびローカル情報を効率的に合成することができ、非常に少数のパラメータを高い精度で保持する。 UIEBデータセットを用いた実験により,本手法はSOTA法と比較してGFLOPsを67.4%削減することがわかった。 我々の知る限りでは、これはSSMに基づいて構築された最初のUIEモデルであり、UIEの精度に関するFLOPの制限を破るものです。 MambaUIE at https://github.com/1024AILab/MambaUIE.com

関連論文リスト

• Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
  異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。 We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。 提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
  論文  参考訳（メタデータ） (2024-04-14T05:28:46Z)
• SPMamba: State-space model is all you need in speech separation [6.590157910988076]
  状態空間モデルを用いた音声分離のためのネットワークアーキテクチャを提案する。 我々はTF-GridNetモデルを基本フレームワークとして採用し、Transformerコンポーネントを双方向のMambaモジュールで置き換える。 実験の結果,マンバモデルの性能面において重要な役割を担っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-04-02T16:04:31Z)
• EfficientVMamba: Atrous Selective Scan for Light Weight Visual Mamba [19.062950348441426]
  本研究は、軽量モデル設計における視覚状態空間モデルの可能性を探究し、EfficientVMambaと呼ばれる新しい効率的なモデル変種を導入することを提案する。 我々のEfficientVMambaは、グローバルおよびローカルの両方の表現機能を利用するように設計されたビルディングブロックを構成する効率的なスキップサンプリングにより、アトラスベースの選択的スキャン手法を統合する。 実験の結果,EfficientVMambaは計算複雑性を縮小し,様々な視覚タスクの競合結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-15T02:48:47Z)
• Large Window-based Mamba UNet for Medical Image Segmentation: Beyond Convolution and Self-attention [10.773829425283177]
  2次元および3次元の医用画像セグメンテーションのためのLMa-UNet(Large Window-based Mamba U-shape Network)を提案する。 LMa-UNetの際立った特徴は、小さなカーネルベースのCNNや小さなウィンドウベースのトランスフォーマーに比べて、局所的な空間モデリングに優れた大きなウィンドウの利用である。
  論文  参考訳（メタデータ） (2024-03-12T05:34:51Z)
• MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models [58.39336492765728]
  がん診断のゴールドスタンダードである病理診断は、TransformerとMIL(Multiple Case Learning)フレームワークを併用して、全スライド画像(WSI)を用いて、優れたパフォーマンスを実現している。 選択的構造化状態空間モデル(Mamba)とMILとの協調によるWSI分類のためのMamMILフレームワークを提案する。 具体的には、マンバが一方向一次元(一次元)シーケンスモデリングしか行えないという問題を解決するため、双方向状態空間モデルと2次元コンテキスト認識ブロックを革新的に導入する。
  論文  参考訳（メタデータ） (2024-03-08T09:02:13Z)
• MiM-ISTD: Mamba-in-Mamba for Efficient Infrared Small Target Detection [73.06596715100859]
  基本モデルの開発により、赤外線小目標検出(ISTD)は大きな進歩を遂げた。 効率的なISTDのためのMamba-in-Mamba (MiM-ISTD) 構造を調整する。 NUAA-SIRSTとIRSTD-1kを用いた実験により,本手法の精度と効率が向上した。
  論文  参考訳（メタデータ） (2024-03-04T15:57:29Z)
• Lightweight Vision Transformer with Bidirectional Interaction [63.65115590184169]
  本研究では,視覚変換器の局所的・グローバル的情報をモデル化するためのFASA機構を提案する。 FASAに基づいて、我々はFAT(Fully Adaptive Transformer)ファミリーという軽量なビジョンバックボーンのファミリーを開発した。
  論文  参考訳（メタデータ） (2023-06-01T06:56:41Z)
• DilateFormer: Multi-Scale Dilated Transformer for Visual Recognition [62.95223898214866]
  我々は,視覚変換器の有効性を探究し,参加する受容領域の計算複雑性とサイズとのトレードオフを追求する。 ピラミッドアーキテクチャを用いて,MSDAブロックを低レベルに積み重ねたマルチスケールDilated Transformer (DilateFormer) と,高レベルにグローバルなマルチヘッド自己保持ブロックを構築する。 実験の結果,DilateFormerは様々な視覚タスクで最先端のパフォーマンスを実現していることがわかった。
  論文  参考訳（メタデータ） (2023-02-03T14:59:31Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。