論文の概要: Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement
- arxiv url: http://arxiv.org/abs/2410.20314v1
- Date: Sun, 27 Oct 2024 02:48:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-29 12:21:25.722378
- Title: Wavelet-based Mamba with Fourier Adjustment for Low-light Image Enhancement
- Title（参考訳）: 低照度画像強調のためのフーリエ調整を用いたウェーブレットベースマンバ
- Authors: Junhao Tan, Songwen Pei, Wei Qin, Bo Fu, Ximing Li, Libo Huang,
- Abstract要約: We propose a novel Wavelet-based Mamba with Fourier Adjustment model called WalMaFa。
WMBはDecoderで採用され、FFABはLatent-Decoder構造で採用されている。
実験により,提案したWalMaFaは,計算資源が少なく,高速で,最先端の性能を実現することができた。
- 参考スコア（独自算出の注目度）: 26.13172849144202
- License:
- Abstract: Frequency information (e.g., Discrete Wavelet Transform and Fast Fourier Transform) has been widely applied to solve the issue of Low-Light Image Enhancement (LLIE). However, existing frequency-based models primarily operate in the simple wavelet or Fourier space of images, which lacks utilization of valid global and local information in each space. We found that wavelet frequency information is more sensitive to global brightness due to its low-frequency component while Fourier frequency information is more sensitive to local details due to its phase component. In order to achieve superior preliminary brightness enhancement by optimally integrating spatial channel information with low-frequency components in the wavelet transform, we introduce channel-wise Mamba, which compensates for the long-range dependencies of CNNs and has lower complexity compared to Diffusion and Transformer models. So in this work, we propose a novel Wavelet-based Mamba with Fourier Adjustment model called WalMaFa, consisting of a Wavelet-based Mamba Block (WMB) and a Fast Fourier Adjustment Block (FFAB). We employ an Encoder-Latent-Decoder structure to accomplish the end-to-end transformation. Specifically, WMB is adopted in the Encoder and Decoder to enhance global brightness while FFAB is adopted in the Latent to fine-tune local texture details and alleviate ambiguity. Extensive experiments demonstrate that our proposed WalMaFa achieves state-of-the-art performance with fewer computational resources and faster speed. Code is now available at: https://github.com/mcpaulgeorge/WalMaFa.
- Abstract（参考訳）: 周波数情報(離散ウェーブレット変換や高速フーリエ変換など)は低光画像強調(LLIE)の問題を解決するために広く応用されている。
しかし、既存の周波数ベースのモデルは、主に画像の単純なウェーブレットまたはフーリエ空間で動作し、各空間における有効なグローバルおよびローカル情報の利用が欠如している。
その結果、ウェーブレット周波数情報は低周波成分により大域的な明るさに敏感であり、フーリエ周波数情報は位相成分により局所的な詳細に敏感であることがわかった。
ウェーブレット変換において、空間チャネル情報を低周波成分と最適に統合することにより、優れた事前輝度向上を実現するために、CNNの長距離依存性を補うチャネルワイド・マンバを導入し、ディフュージョンやトランスフォーマーモデルと比較して複雑さを小さくする。
そこで本研究では,WaveletベースのMamba Block (WMB) とFast Fourier Adjustment Block (FFAB) を組み合わせたWalMaFaと呼ばれる新しいWalletベースのMambaを提案する。
エンド・ツー・エンド変換を実現するためにエンコーダ・ラテント・デコーダ構造を用いる。
具体的には、WMBはエンコーダとデコーダに採用され、世界輝度を高める一方、FFABはラテントに採用され、局所的なテクスチャの詳細を微調整し、曖昧さを緩和する。
大規模な実験により,提案したWalMaFaは,計算資源が少なく,高速で,最先端の性能を実現することができた。
コードは、https://github.com/mcpaulgeorge/WalMaFa.comで入手できる。
関連論文リスト
- Zero-Shot Low-Light Image Enhancement via Joint Frequency Domain Priors Guided Diffusion [2.3874115898130865]
拡散サンプリングプロセスにおける光と構造情報の欠如を補うため,新しいゼロショット低光強調法を提案する。
インスピレーションはウェーブレットとフーリエ周波数領域の類似性に由来する。
十分な実験は、フレームワークが堅牢で、様々なシナリオで有効であることを示している。
論文 参考訳（メタデータ） (2024-11-21T09:16:51Z) - DiMSUM: Diffusion Mamba -- A Scalable and Unified Spatial-Frequency Method for Image Generation [4.391439322050918]
拡散モデルのための新しい状態空間アーキテクチャを提案する。
入力画像の局所的特徴に対する帰納バイアスを高めるために,空間情報と周波数情報を利用する。
論文 参考訳（メタデータ） (2024-11-06T18:59:17Z) - FourierMamba: Fourier Learning Integration with State Space Models for Image Deraining [71.46369218331215]
Image derainingは雨が降る画像から雨の跡を取り除き、透明な背景を復元することを目的としている。
本稿では,FourierMambaという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T18:58:59Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Misalignment-Robust Frequency Distribution Loss for Image Transformation [51.0462138717502]
本稿では,画像強調や超解像といった深層学習に基づく画像変換手法における共通の課題に対処することを目的とする。
本稿では、周波数領域内における分布距離を計算するための、新しいシンプルな周波数分布損失(FDL)を提案する。
本手法は,周波数領域におけるグローバル情報の思慮深い活用により,トレーニング制約として実証的に有効であることが実証された。
論文 参考訳（メタデータ） (2024-02-28T09:27:41Z) - WFTNet: Exploiting Global and Local Periodicity in Long-term Time Series
Forecasting [61.64303388738395]
本稿では,長期連続予測のためのWavelet-Fourier Transform Network (WFTNet)を提案する。
さまざまな時系列データセットのテストでは、WFTNetは他の最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2023-09-20T13:44:18Z) - FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency
Information [19.478293277978935]
2段階フーリエ型低光画像強調(LLIE)ネットワーク(FourLLIE)を提案する。
第1段階では、フーリエ空間の振幅変換マップを推定することにより、低照度画像の明るさを改善する。
第2段階では、グローバルフーリエ周波数と局所空間情報を統合するための事前情報を提供するために、SNR(Signal-to-Noise-Ratio)マップを導入する。
論文 参考訳（メタデータ） (2023-08-06T06:14:14Z) - QFF: Quantized Fourier Features for Neural Field Representations [28.82293263445964]
我々は、QFF(Quantized Fourier Features)を用いることで、モデルのサイズが小さくなり、トレーニングが速くなり、複数のアプリケーションの品質が向上することを示した。
QFFは簡単にコーディングでき、高速に計算でき、多くのニューラルネットワーク表現に加えてシンプルなドロップインとして機能する。
論文 参考訳（メタデータ） (2022-12-02T00:11:22Z) - Inception Transformer [151.939077819196]
インセプショントランスフォーマー(iFormer)は、視覚データ中の高周波数情報と低周波情報の両方で包括的特徴を学習する。
我々は、iFormerを一連の視覚タスクでベンチマークし、画像分類、COCO検出、ADE20Kセグメンテーションにおいて優れた性能を発揮することを示した。
論文 参考訳（メタデータ） (2022-05-25T17:59:54Z) - Frequency-bin entanglement from domain-engineered down-conversion [101.18253437732933]
フィルタや共振器の共振器を用いない離散周波数ビン絡みの単一パス源を提案する。
ドメインエンジニアリングされた非線形結晶を用いて、通信波長で8モードの周波数ビン絡み合った光源を生成する。
論文 参考訳（メタデータ） (2022-01-18T19:00:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。