論文の概要: FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining
- arxiv url: http://arxiv.org/abs/2404.09476v1
- Date: Mon, 15 Apr 2024 06:02:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 13:19:30.807550
- Title: FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining
- Title(参考訳): FreqMamba: 画像レイニングの周波数視点からMambaを見る
- Authors: Zou Zhen, Yu Hu, Zhao Feng,
- Abstract要約: 雨害による画像の劣化は、知覚に欠かせない周波数情報を失うことが多く、画像の劣化はこの問題を解決することを目的としている。
近年の研究では、マンバのグローバルおよびローカル情報知覚の有効性と効率性が確認されている。
本稿では,マンバと周波数解析の相補性を利用して画像デライニングを行う,効率的かつ効率的なパラダイムであるFreqMambaを提案する。
- 参考スコア(独自算出の注目度): 1.6793052475826054
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Images corrupted by rain streaks often lose vital frequency information for perception, and image deraining aims to solve this issue which relies on global and local degradation modeling. Recent studies have witnessed the effectiveness and efficiency of Mamba for perceiving global and local information based on its exploiting local correlation among patches, however, rarely attempts have been explored to extend it with frequency analysis for image deraining, limiting its ability to perceive global degradation that is relevant to frequency modeling (e.g. Fourier transform). In this paper, we propose FreqMamba, an effective and efficient paradigm that leverages the complementary between Mamba and frequency analysis for image deraining. The core of our method lies in extending Mamba with frequency analysis from two perspectives: extending it with frequency-band for exploiting frequency correlation, and connecting it with Fourier transform for global degradation modeling. Specifically, FreqMamba introduces complementary triple interaction structures including spatial Mamba, frequency band Mamba, and Fourier global modeling. Frequency band Mamba decomposes the image into sub-bands of different frequencies to allow 2D scanning from the frequency dimension. Furthermore, leveraging Mamba's unique data-dependent properties, we use rainy images at different scales to provide degradation priors to the network, thereby facilitating efficient training. Extensive experiments show that our method outperforms state-of-the-art methods both visually and quantitatively.
- Abstract(参考訳): 雨害による画像の劣化は、知覚に欠かせない周波数情報を失うことが多く、画像のデライン化は、グローバルおよび局所的な劣化モデリングに依存するこの問題を解決することを目的としている。
近年の研究では、パッチ間の局所的相関を利用して、グローバルおよびローカルな情報を知覚するためのMambaの有効性と効率が指摘されているが、画像デラリニングの周波数解析による拡張の試みは稀であり、周波数モデリング(例えばフーリエ変換)に関連するグローバルな劣化を知覚する能力が制限されている。
本稿では,マンバと周波数解析の相補性を利用した画像デライニングの効率的かつ効率的なパラダイムであるFreqMambaを提案する。
本手法のコアとなるのは,周波数相関を利用する周波数帯域の拡張と,大域的劣化モデリングのためのフーリエ変換の2つの観点からの周波数解析によるマンバの拡張である。
具体的には、FreqMambaは空間マンバ、周波数帯域マンバ、フーリエグローバルモデリングなどの相補的な3重相互作用構造を導入している。
周波数帯域のMambaは、画像を異なる周波数のサブバンドに分解し、周波数次元から2Dスキャンを可能にする。
さらに、Mambaのユニークなデータ依存特性を活用して、異なるスケールの雨画像を用いて、ネットワークに先立って劣化をもたらすことにより、効率的なトレーニングを容易にする。
広汎な実験により,本手法は視覚的,定量的に最先端の手法より優れていることが示された。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳(メタデータ) (2024-03-12T01:28:00Z) - Blue noise for diffusion models [50.99852321110366]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。
我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。
本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文 参考訳(メタデータ) (2024-02-07T14:59:25Z) - Dual-Path Coupled Image Deraining Network via Spatial-Frequency
Interaction [7.682978264249712]
既存の画像デアライニング手法は、臨界周波数情報を無視する傾向がある。
我々は空間領域と周波数領域の情報を統合したDPCNet(Dual-Path Coupled Deraining Network)を開発した。
提案手法は,既存の最先端デラリニング法よりも,下流視力に優れたロバスト性を有する視覚的満足度を実現する。
論文 参考訳(メタデータ) (2024-02-07T13:54:15Z) - Frequency-Adaptive Pan-Sharpening with Mixture of Experts [22.28680499480492]
パンシャーピングのための新しい周波数適応型エキスパート混合学習フレームワーク(FAME)を提案する。
本手法は他の最先端技術に対して最善を尽くし,現実のシーンに対して強力な一般化能力を有する。
論文 参考訳(メタデータ) (2024-01-04T08:58:25Z) - A Dual Domain Multi-exposure Image Fusion Network based on the
Spatial-Frequency Integration [57.14745782076976]
マルチ露光画像融合は、異なる露光で画像を統合することにより、単一の高ダイナミック画像を生成することを目的としている。
本稿では,MEF-SFI と呼ばれる空間周波数統合フレームワークによるマルチ露光画像融合の新たな視点を提案する。
提案手法は,最先端のマルチ露光画像融合手法に対する視覚的近似核融合結果を実現する。
論文 参考訳(メタデータ) (2023-12-17T04:45:15Z) - Spatial-Frequency Attention for Image Denoising [22.993509525990998]
本研究では,長距離依存性を利用した空間周波数アテンションネットワーク(SFANet)を提案する。
複数のdenoisingベンチマークの実験は、SFANetネットワークのリードパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-02-27T09:07:15Z) - Masked Frequency Modeling for Self-Supervised Visual Pre-Training [102.89756957704138]
MFM(Masked Frequency Modeling)は、視覚モデルの自己教師付き事前学習のための統合周波数領域に基づくアプローチである。
MFMはまず入力画像の周波数成分の一部をマスクアウトし、周波数スペクトルの欠落周波数を予測する。
MFMは初めて、ViTとCNNの両方で、単純な非シームフレームワークは、以下のものを使って意味のある表現を学習できることを示した。
論文 参考訳(メタデータ) (2022-06-15T17:58:30Z) - Adaptive Frequency Learning in Two-branch Face Forgery Detection [66.91715092251258]
本稿では、AFDと呼ばれる2分岐検出フレームワークにおいて、周波数情報を適応的に学習する手法を提案する。
我々は、固定周波数変換からネットワークを解放し、データおよびタスク依存の変換層でより良いパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-27T14:25:52Z) - Exploring Inter-frequency Guidance of Image for Lightweight Gaussian
Denoising [1.52292571922932]
本稿では,周波数帯域を低域から高域に漸進的に洗練するために,IGNetと呼ばれる新しいネットワークアーキテクチャを提案する。
この設計では、より周波数間先行と情報を利用するため、モデルサイズは軽量化でき、競争結果も維持できる。
論文 参考訳(メタデータ) (2021-12-22T10:35:53Z) - WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。
WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。
低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
論文 参考訳(メタデータ) (2021-07-23T04:44:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。