論文の概要: Fractal-IR: A Unified Framework for Efficient and Scalable Image Restoration
- arxiv url: http://arxiv.org/abs/2503.17825v1
- Date: Sat, 22 Mar 2025 17:43:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-25 16:32:16.845396
- Title: Fractal-IR: A Unified Framework for Efficient and Scalable Image Restoration
- Title(参考訳): Fractal-IR: 効率的でスケーラブルな画像復元のための統一フレームワーク
- Authors: Yawei Li, Bin Ren, Jingyun Liang, Rakesh Ranjan, Mengyuan Liu, Nicu Sebe, Ming-Hsuan Yang, Luca Benini,
- Abstract要約: Fractal-IRを提案する。Fractal-IRはフラクタルベースの設計で、局所情報を広範囲に繰り返し拡張することで、劣化した画像を徐々に洗練する。
このフラクタルアーキテクチャは、早期の局所的な詳細を自然に捉え、より深いフラクタル段階のグローバルな文脈へシームレスに遷移する。
また,Fractal-IRは,高分解能,デノナイジング,JPEGアーティファクト除去,悪天候条件のIR,動きの鈍化,デフォーカスの鈍化,復調といった7つの一般的な画像修復作業において,最先端の性能を実現していることを示す。
- 参考スコア(独自算出の注目度): 108.83750852785582
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: While vision transformers achieve significant breakthroughs in various image restoration (IR) tasks, it is still challenging to efficiently scale them across multiple types of degradations and resolutions. In this paper, we propose Fractal-IR, a fractal-based design that progressively refines degraded images by repeatedly expanding local information into broader regions. This fractal architecture naturally captures local details at early stages and seamlessly transitions toward global context in deeper fractal stages, removing the need for computationally heavy long-range self-attention mechanisms. Moveover, we observe the challenge in scaling up vision transformers for IR tasks. Through a series of analyses, we identify a holistic set of strategies to effectively guide model scaling. Extensive experimental results show that Fractal-IR achieves state-of-the-art performance in seven common image restoration tasks, including super-resolution, denoising, JPEG artifact removal, IR in adverse weather conditions, motion deblurring, defocus deblurring, and demosaicking. For $2\times$ SR on Manga109, Fractal-IR achieves a 0.21 dB PSNR gain. For grayscale image denoising on Urban100, Fractal-IR surpasses the previous method by 0.2 dB for $\sigma=50$.
- Abstract(参考訳): 視覚変換器は様々な画像復元(IR)タスクにおいて大きなブレークスルーを達成するが、複数の種類の劣化や分解を効果的にスケールすることは依然として困難である。
本稿では, 局所情報を広範囲に繰り返し拡張することにより, 劣化画像を段階的に洗練するフラクタルベース設計であるフラクタルIRを提案する。
このフラクタルアーキテクチャは、初期の局所的な詳細を自然に捉え、より深いフラクタル段階のグローバルな文脈へシームレスに遷移し、計算的に重い長距離自己認識機構の必要性を取り除く。
さらに、IRタスクの視覚変換器のスケールアップの課題を観察する。
一連の分析を通して、モデルスケーリングを効果的に導くための総合的な戦略の集合を同定する。
その結果,Fractal-IRは,高分解能,デノナイジング,JPEGアーティファクト除去,悪天候条件のIR,動きの鈍化,デフォーカスの鈍化,復調といった7つの一般的な画像修復作業において,最先端の性能を達成できることが示唆された。
マンガ109のSR$2\timesで、フラクタルIRは0.21dBのPSNRを獲得した。
Urban100のグレースケール画像では、Fractal-IRが0.2dBで$\sigma=50$を上回ります。
関連論文リスト
- Frequency-enhanced Multi-granularity Context Network for Efficient Vertebrae Segmentation [33.99418884128739]
椎骨分割精度を向上させるために,周波数強調多粒性コンテキストネットワーク(FMC-Net)を導入する。
高周波成分に対しては,HFR(High- frequency Feature Refinement)を適用し,特徴の顕著さを増幅する。
低周波成分に対しては、多粒度状態空間モデル(MG-SSM)を用いて、異なる受容場を持つ特徴表現を集約する。
論文 参考訳(メタデータ) (2025-06-29T04:53:02Z) - Manifold-aware Representation Learning for Degradation-agnostic Image Restoration [135.90908995927194]
画像復元(IR)は、ノイズ、ぼかし、迷路、雨、低照度といった様々な汚職に影響を受ける劣化した入力から高品質な画像を復元することを目的としている。
我々は、入力特徴空間を3つのセマンティックに整列した並列分岐に明示的に分解する1つのIRにおいて、すべてに統一されたフレームワークであるMIRAGEを提案する。
このモジュラ分解は、多種多様な分解の一般化と効率を大幅に改善する。
論文 参考訳(メタデータ) (2025-05-24T12:52:10Z) - FRN: Fractal-Based Recursive Spectral Reconstruction Network [32.54705293932158]
スペクトル再構成は、RGB画像からのハイパースペクトル画像(HSI)のコストを大幅に削減することができる。
スペクトル再構成をプログレッシブなプロセスとして扱うフラクタルベース再帰スペクトル再構成ネットワーク(FRN)を提案する。
FRNは, 定量評価と定性評価の両方において, 最先端手法と比較して, 再現性に優れる。
論文 参考訳(メタデータ) (2025-05-21T12:20:59Z) - Multi-Frame Blind Manifold Deconvolution for Rotating Synthetic Aperture Imaging [4.19203497706834]
回転合成開口(RSA)撮像システムは、矩形開口を回転させることにより、ターゲットシーンの画像を異なる回転角度でキャプチャする。
取得したRSA画像を損なうことは、シーンの裏側にある潜伏したシャープなイメージを再構築する上で重要な役割を担っている。
本稿では, ブラインドコンボリューションの内容に対する多様体フィッティングとペナル化を用いた新しいRSA画像処理法を提案する。
論文 参考訳(メタデータ) (2025-01-31T18:39:47Z) - UniUIR: Considering Underwater Image Restoration as An All-in-One Learner [49.35128836844725]
我々はUniUIRと呼ばれるユニバーサル水中画像復元手法を提案する。
劣化固有の問題を分離し、UIRタスクにおける様々な劣化の相関関係を探るため、我々はMamba Mixture-of-Expertsモジュールを設計した。
このモジュールは、空間領域と周波数領域の両方において劣化前の情報を抽出し、最適なタスク固有のプロンプトを適応的に選択する。
論文 参考訳(メタデータ) (2025-01-22T16:10:42Z) - FCDM: A Physics-Guided Bidirectional Frequency Aware Convolution and Diffusion-Based Model for Sinogram Inpainting [14.043383277622874]
そこで本研究では,物理誘導型ノングラムインペイントフレームワークFCDMを提案する。
双方向周波数領域の畳み込みを統合して重なり合う特徴を解消し、物理インフォームド・ロスによる全吸収と周波数領域の一貫性を強制する。
合成および実世界のデータセットの実験では、FCDMは既存の手法より優れており、SSIMは0.95以上、PSNRは30dB以上、ベースラインは最大33%、29%改善している。
論文 参考訳(メタデータ) (2024-08-26T12:31:38Z) - Multi-Scale Representation Learning for Image Restoration with State-Space Model [13.622411683295686]
効率的な画像復元のためのマルチスケール状態空間モデル(MS-Mamba)を提案する。
提案手法は,計算複雑性を低く保ちながら,新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2024-08-19T16:42:58Z) - Infrared Image Deturbulence Restoration Using Degradation Parameter-Assisted Wide & Deep Learning [12.305318121246277]
本研究では,パラメータ支援型マルチフレームネットワークであるDparNetを提案する。
DparNetは、外部の知識なしに、劣化した画像から直接劣化を学習する。
修復性能と効率性において、ステート・オブ・ザ・アーツ(SOTA)法を著しく上回っている。
論文 参考訳(メタデータ) (2023-05-30T03:24:09Z) - Gated Multi-Resolution Transfer Network for Burst Restoration and
Enhancement [75.25451566988565]
低画質の原画像のバーストから空間的精度の高い高画質画像を再構成する新しいGated Multi-Resolution Transfer Network (GMTNet)を提案する。
5つのデータセットに関する詳細な実験分析は、我々のアプローチを検証し、バースト超解像、バーストデノイング、低照度バーストエンハンスメントのための最先端技術を設定する。
論文 参考訳(メタデータ) (2023-04-13T17:54:00Z) - DR2: Diffusion-based Robust Degradation Remover for Blind Face
Restoration [66.01846902242355]
ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。
トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。
本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
論文 参考訳(メタデータ) (2023-03-13T06:05:18Z) - Spatially-Adaptive Image Restoration using Distortion-Guided Networks [51.89245800461537]
空間的に変化する劣化に苦しむ画像の復元のための学習ベースソリューションを提案する。
本研究では、歪み局所化情報を活用し、画像中の困難な領域に動的に適応するネットワーク設計であるSPAIRを提案する。
論文 参考訳(メタデータ) (2021-08-19T11:02:25Z) - Learning to Restore a Single Face Image Degraded by Atmospheric
Turbulence using CNNs [93.72048616001064]
このような条件下で撮影された画像は、幾何学的変形と空間のぼかしの組合せに悩まされる。
乱流劣化顔画像の復元問題に対する深層学習に基づく解法を提案する。
論文 参考訳(メタデータ) (2020-07-16T15:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。