論文の概要: Global Modeling Matters: A Fast, Lightweight and Effective Baseline for Efficient Image Restoration
- arxiv url: http://arxiv.org/abs/2507.13663v1
- Date: Fri, 18 Jul 2025 05:15:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-21 20:43:26.192693
- Title: Global Modeling Matters: A Fast, Lightweight and Effective Baseline for Efficient Image Restoration
- Title(参考訳): Global Modeling Matters: 高速で軽量で効果的な画像復元のためのベースライン
- Authors: Xingyu Jiang, Ning Gao, Hongkun Dou, Xiuhui Zhang, Xiaoqing Zhong, Yue Deng, Hongjue Li,
- Abstract要約: Pyramid Wavelet-Fourier Network (PW-FNet)は、画像復元のための効率的な修復ベースラインである。
PW-FNetはマルチ・インプット・マルチ出力構造を備え、マルチスケール・マルチ周波数帯域分解を実現する。
画像劣化, 雨滴除去, 画像超解像, モーションデブリ, 水中/低照度化などの課題の実験により, PW-FNetは修復品質の最先端の手法を超越するだけでなく, 優れた効率性が得られることが示された。
- 参考スコア(独自算出の注目度): 9.2933763571933
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural image quality is often degraded by adverse weather conditions, significantly impairing the performance of downstream tasks. Image restoration has emerged as a core solution to this challenge and has been widely discussed in the literature. Although recent transformer-based approaches have made remarkable progress in image restoration, their increasing system complexity poses significant challenges for real-time processing, particularly in real-world deployment scenarios. To this end, most existing methods attempt to simplify the self-attention mechanism, such as by channel self-attention or state space model. However, these methods primarily focus on network architecture while neglecting the inherent characteristics of image restoration itself. In this context, we explore a pyramid Wavelet-Fourier iterative pipeline to demonstrate the potential of Wavelet-Fourier processing for image restoration. Inspired by the above findings, we propose a novel and efficient restoration baseline, named Pyramid Wavelet-Fourier Network (PW-FNet). Specifically, PW-FNet features two key design principles: 1) at the inter-block level, integrates a pyramid wavelet-based multi-input multi-output structure to achieve multi-scale and multi-frequency bands decomposition; and 2) at the intra-block level, incorporates Fourier transforms as an efficient alternative to self-attention mechanisms, effectively reducing computational complexity while preserving global modeling capability. Extensive experiments on tasks such as image deraining, raindrop removal, image super-resolution, motion deblurring, image dehazing, image desnowing and underwater/low-light enhancement demonstrate that PW-FNet not only surpasses state-of-the-art methods in restoration quality but also achieves superior efficiency, with significantly reduced parameter size, computational cost and inference time.
- Abstract(参考訳): 自然画像の品質は、しばしば悪天候によって劣化し、下流のタスクのパフォーマンスを著しく損なう。
画像復元はこの課題の中核的な解決策として現れており、文献で広く議論されている。
最近のトランスフォーマーベースのアプローチは、画像復元において顕著な進歩を遂げているが、システム複雑性の増大は、リアルタイム処理、特に実世界のデプロイメントシナリオにおいて、大きな課題を招いている。
この目的のために、既存のほとんどの手法は、チャネル自己アテンションや状態空間モデルのような自己アテンション機構を単純化しようと試みている。
しかし,これらの手法は画像復元自体の特質を無視しつつ,ネットワークアーキテクチャに重点を置いている。
本研究では,ウェーブレット・フーリエ・イテレーティブ・パイプラインのピラミッドを探索し,ウェーブレット・フーリエ・プロセッシングによる画像復元の可能性を示す。
以上の知見に触発されて,Pyramid Wavelet-Fourier Network (PW-FNet) という,新規で効率的な復元ベースラインを提案する。
具体的には、PW-FNetには2つの重要な設計原則がある。
1) ブロック間レベルでは、ピラミッドウェーブレットに基づくマルチインプットマルチアウトプット構造を統合し、マルチスケールおよびマルチ周波数帯域の分解を実現する。
2) ブロック内レベルでは, フーリエ変換を自己認識機構の効率的な代替として組み込んで, グローバルなモデリング能力を保ちながら, 計算複雑性を効果的に低減する。
画像劣化, 雨滴除去, 画像超解像, 動き退化, 画像復調, 水中/低照度向上などのタスクに対する広範囲な実験により, PW-FNetは, 修復品質における最先端の手法を超越するだけでなく, パラメータサイズ, 計算コスト, 推論時間を大幅に削減して, 優れた効率を実現することを示した。
関連論文リスト
- Frequency-Domain Fusion Transformer for Image Inpainting [6.4194162137514725]
本稿では,周波数領域融合を取り入れたトランスフォーマーによる画像描画手法を提案する。
実験により,提案手法は高周波数情報を保存することにより,画像の塗装品質を効果的に向上することを示した。
論文 参考訳(メタデータ) (2025-06-23T09:19:04Z) - Breaking Complexity Barriers: High-Resolution Image Restoration with Rank Enhanced Linear Attention [54.42902794496325]
ソフトマックスアテンションの変種である線形アテンションは、グローバルコンテキストモデリングにおける約束を示す。
軽量な奥行き畳み込みを統合することで特徴表現を充実させる簡易かつ効果的な方法であるRランク拡張線形アテンション(RELA)を提案する。
本稿では,RELA をベースとした画像復元変換器 LAformer を提案する。
論文 参考訳(メタデータ) (2025-05-22T02:57:23Z) - Image Restoration via Multi-domain Learning [8.909636477353695]
マルチドメイン学習をTransformerに統合する新しい復元フレームワークを提案する。
具体的には、Token Mixerにおいて、局所領域-グローバル多受容場モデリングを容易にするSpatial-Wavelet-Fourierマルチドメイン構造を提案する。
フィードフォワードネットワークでは,異なる解像度でマルチドメイン機能を融合するために,マルチスケール学習を取り入れている。
論文 参考訳(メタデータ) (2025-05-07T04:14:51Z) - Joint multi-dimensional dynamic attention and transformer for general image restoration [14.987034136856463]
屋外のイメージは 雨や迷路、騒音などによって 深刻な劣化に苦しむことが多い
現在の画像復元法は、効率を保ちながら複雑な劣化を扱うのに苦労している。
本稿では,多次元動的注意と自己注意を組み合わせた新しい画像復元アーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-11-12T15:58:09Z) - Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。
提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-08-19T16:42:58Z) - WaveletFormerNet: A Transformer-based Wavelet Network for Real-world
Non-homogeneous and Dense Fog Removal [11.757602977709517]
本稿では,現実の霧画像回復のためのトランスフォーマーベースのウェーブレットネットワーク(WaveletFormerNet)を提案する。
トランスフォーマーブロックに並列畳み込みを導入し、軽量な機構で多周波情報のキャプチャを可能にする。
我々の実験は、WaveletFormerNetが最先端の手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2024-01-09T13:42:21Z) - DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image
Enhancement [77.0360085530701]
水中画像強調(UIE)は、水中環境によって引き起こされる複雑な劣化のために難しい課題である。
従来の手法では、劣化過程を理想化し、中音や物体の動きが画像の特徴の分布に与える影響を無視することが多い。
提案手法では,予測画像を用いて疑似ラベルを動的に更新し,動的勾配を加えてネットワークの勾配空間を最適化する。
論文 参考訳(メタデータ) (2023-12-12T06:07:21Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Gated Multi-Resolution Transfer Network for Burst Restoration and
Enhancement [75.25451566988565]
低画質の原画像のバーストから空間的精度の高い高画質画像を再構成する新しいGated Multi-Resolution Transfer Network (GMTNet)を提案する。
5つのデータセットに関する詳細な実験分析は、我々のアプローチを検証し、バースト超解像、バーストデノイング、低照度バーストエンハンスメントのための最先端技術を設定する。
論文 参考訳(メタデータ) (2023-04-13T17:54:00Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳(メタデータ) (2021-11-18T18:59:10Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。