論文の概要: FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining
- arxiv url: http://arxiv.org/abs/2405.19450v2
- Date: Wed, 7 Aug 2024 17:30:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 15:15:51.327241
- Title: FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining
- Title（参考訳）: FourierMamba: イメージデライニングのためのステートスペースモデルとフーリエラーニング統合
- Authors: Dong Li, Yidi Liu, Xueyang Fu, Senyan Xu, Zheng-Jun Zha,
- Abstract要約: Image derainingは雨が降る画像から雨の跡を取り除き、透明な背景を復元することを目的としている。
本稿では,FourierMambaという新しいフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 71.46369218331215
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image deraining aims to remove rain streaks from rainy images and restore clear backgrounds. Currently, some research that employs the Fourier transform has proved to be effective for image deraining, due to it acting as an effective frequency prior for capturing rain streaks. However, despite there exists dependency of low frequency and high frequency in images, these Fourier-based methods rarely exploit the correlation of different frequencies for conjuncting their learning procedures, limiting the full utilization of frequency information for image deraining. Alternatively, the recently emerged Mamba technique depicts its effectiveness and efficiency for modeling correlation in various domains (e.g., spatial, temporal), and we argue that introducing Mamba into its unexplored Fourier spaces to correlate different frequencies would help improve image deraining. This motivates us to propose a new framework termed FourierMamba, which performs image deraining with Mamba in the Fourier space. Owning to the unique arrangement of frequency orders in Fourier space, the core of FourierMamba lies in the scanning encoding of different frequencies, where the low-high frequency order formats exhibit differently in the spatial dimension (unarranged in axis) and channel dimension (arranged in axis). Therefore, we design FourierMamba that correlates Fourier space information in the spatial and channel dimensions with distinct designs. Specifically, in the spatial dimension Fourier space, we introduce the zigzag coding to scan the frequencies to rearrange the orders from low to high frequencies, thereby orderly correlating the connections between frequencies; in the channel dimension Fourier space with arranged orders of frequencies in axis, we can directly use Mamba to perform frequency correlation and improve the channel information representation.
- Abstract（参考訳）: Image derainingは雨が降る画像から雨の跡を取り除き、透明な背景を復元することを目的としている。
現在、フーリエ変換を用いたいくつかの研究は、降雨を捉える前に有効な周波数として機能するため、画像の劣化に有効であることが証明されている。
しかし、画像に低周波と高周波の依存性があるにもかかわらず、これらのフーリエ法は、学習手順の整合性に異なる周波数の相関を利用することは稀であり、画像デラリニングにおける周波数情報の完全利用を制限している。
あるいは、最近登場したMamba手法は、様々な領域(例えば、空間的、時間的)における相関をモデル化するための効果と効率を描いており、異なる周波数を相関付けるために、探索されていないフーリエ空間にMambaを導入することは、画像のデライニングを改善するのに役立つと論じている。
これにより,FourierMambaという新たなフレームワークが提案され,Fourier空間におけるMambaとのイメージデベリングが実現された。
フーリエマムバのコアは、フーリエ空間における周波数順序のユニークな配置に依拠し、低周波順序形式は空間次元(軸に配置されていない)とチャネル次元(軸に配置されている)で異なる形で表される。
そこで我々は、空間次元とチャネル次元のフーリエ空間情報を異なる設計で関連付けるフーリエマンバを設計する。
具体的には、空間次元フーリエ空間において、周波数をスキャンして低周波数から高周波数に並べ替えることで、周波数間の接続を秩序的に関連付けるジグザグ符号を導入する。
関連論文リスト
- Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement [26.13172849144202]
We propose a novel Wavelet-based Mamba with Fourier Adjustment model called WalMaFa。
WMBはDecoderで採用され、FFABはLatent-Decoder構造で採用されている。
実験により,提案したWalMaFaは,計算資源が少なく,高速で,最先端の性能を実現することができた。
論文 参考訳（メタデータ） (2024-10-27T02:48:28Z) - F2former: When Fractional Fourier Meets Deep Wiener Deconvolution and Selective Frequency Transformer for Image Deblurring [8.296475046681696]
本稿では、空間周波数の統一表現であるFRFT(Fractional Fourier Transform)に基づく新しい手法を提案する。
提案手法の性能は,他のSOTA手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2024-09-03T17:05:12Z) - FreqMamba: Viewing Mamba from a Frequency Perspective for Image Deraining [1.6793052475826054]
雨害による画像の劣化は、知覚に欠かせない周波数情報を失うことが多く、画像の劣化はこの問題を解決することを目的としている。
近年の研究では、マンバのグローバルおよびローカル情報知覚の有効性と効率性が確認されている。
本稿では,マンバと周波数解析の相補性を利用して画像デライニングを行う,効率的かつ効率的なパラダイムであるFreqMambaを提案する。
論文 参考訳（メタデータ） (2024-04-15T06:02:31Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization [67.47895278233717]
周波数空間における過度再構成問題に対処するために, 進行周波数正規化手法を開発した。
FreGSは優れた斬新なビュー合成を実現し、最先端の技術を一貫して上回っている。
論文 参考訳（メタデータ） (2024-03-11T17:00:27Z) - Neural Fourier Filter Bank [18.52741992605852]
本稿では, 効率的かつ高精度な再構築手法を提案する。
ウェーブレットにインスパイアされた我々は、信号が空間的にも周波数的にも分解されるニューラルネットワークを学習する。
論文 参考訳（メタデータ） (2022-12-04T03:45:08Z) - Deep Fourier Up-Sampling [100.59885545206744]
フーリエ領域のアップサンプリングは、そのような局所的な性質に従わないため、より難しい。
これらの問題を解決するために理論的に健全なDeep Fourier Up-Sampling (FourierUp)を提案する。
論文 参考訳（メタデータ） (2022-10-11T06:17:31Z) - Fourier Disentangled Space-Time Attention for Aerial Video Recognition [54.80846279175762]
本稿では,UAVビデオ行動認識のためのFAR(Fourier Activity Recognition)アルゴリズムを提案する。
我々の定式化は、人間のエージェントを背景から自然に分離するために、新しいフーリエオブジェクト・ディコンタングルメント法を用いています。
我々はUAV Human RGB、UAV Human Night、Drone Action、NEC Droneを含む複数のUAVデータセットに対するアプローチを評価した。
論文 参考訳（メタデータ） (2022-03-21T01:24:53Z) - WaveFill: A Wavelet-based Generation Network for Image Inpainting [57.012173791320855]
WaveFillはウェーブレットベースの塗装ネットワークで、画像を複数の周波数帯域に分解する。
WaveFillは、空間情報を自然に保存する離散ウェーブレット変換(DWT)を用いて画像を分解する。
低周波帯にL1再構成損失を、高周波帯に敵対損失を施し、それによって周波数間紛争を効果的に軽減する。
論文 参考訳（メタデータ） (2021-07-23T04:44:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。