論文の概要: UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity

• arxiv url: http://arxiv.org/abs/2412.20157v1
• Date: Sat, 28 Dec 2024 14:09:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:31.796892
• Title: UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity
• Title（参考訳）: UniRestorer: 適切な粒度での画像劣化を適応的に推定するユニバーサルイメージ復元
• Authors: Jingbo Lin, Zhilu Zhang, Wenbo Li, Renjing Pei, Hang Xu, Hongzhi Zhang, Wangmeng Zuo,
• Abstract要約: We present our UniRestorer with improve restoration performance。 具体的には、劣化空間上で階層的クラスタリングを行い、マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。 UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特定回復の恩恵を受けることができる。
• 参考スコア（独自算出の注目度）: 79.90839080916913
• License:
• Abstract: Recently, considerable progress has been made in allin-one image restoration. Generally, existing methods can be degradation-agnostic or degradation-aware. However, the former are limited in leveraging degradation-specific restoration, and the latter suffer from the inevitable error in degradation estimation. Consequently, the performance of existing methods has a large gap compared to specific single-task models. In this work, we make a step forward in this topic, and present our UniRestorer with improved restoration performance. Specifically, we perform hierarchical clustering on degradation space, and train a multi-granularity mixture-of-experts (MoE) restoration model. Then, UniRestorer adopts both degradation and granularity estimation to adaptively select an appropriate expert for image restoration. In contrast to existing degradation-agnostic and -aware methods, UniRestorer can leverage degradation estimation to benefit degradationspecific restoration, and use granularity estimation to make the model robust to degradation estimation error. Experimental results show that our UniRestorer outperforms stateof-the-art all-in-one methods by a large margin, and is promising in closing the performance gap to specific single task models. The code and pre-trained models will be publicly available at https://github.com/mrluin/UniRestorer.
• Abstract（参考訳）: 近年,オールワン画像修復の進歩が進んでいる。 一般に、既存の方法は劣化を認識できないか、劣化を認識できる。 しかし, 前者は劣化特異的復元の活用に限界があり, 後者は劣化推定における必然的誤差に悩まされている。 その結果,既存手法の性能は特定の単一タスクモデルと比較して大きな差があることがわかった。 本研究では、このトピックを一歩前進させ、リストア性能を改善したUniRestorerを提示する。 具体的には,劣化空間上で階層的クラスタリングを行い,マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。 そして、UniRestorerは分解と粒度推定の両方を採用し、画像復元の適切な専門家を適応的に選択する。 UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特異的復元の恩恵を享受し、粒度推定を用いて劣化推定を堅牢にすることができる。 実験結果から、UniRestorerは最先端のオールインワンメソッドよりも高い性能を示し、特定の単一タスクモデルのパフォーマンスギャップを埋めることを約束している。 コードと事前トレーニングされたモデルはhttps://github.com/mrluin/UniRestorer.comで公開される。

関連論文リスト

• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• Diff-Restorer: Unleashing Visual Prompts for Diffusion-based Universal Image Restoration [19.87693298262894]
  拡散モデルに基づく普遍的な画像復元手法であるDiff-Restorerを提案する。 我々は、事前学習された視覚言語モデルを用いて、劣化した画像から視覚的プロンプトを抽出する。 また、デグレーション対応デコーダを設計し、構造的補正を行い、潜在コードをピクセル領域に変換する。
  論文  参考訳（メタデータ） (2024-07-04T05:01:10Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• InstructIR: High-Quality Image Restoration Following Human Instructions [61.1546287323136]
  本稿では,人間の手書きによる画像復元モデルを導出する手法を提案する。 InstructIRという手法は、いくつかの修復作業において最先端の結果を得る。
  論文  参考訳（メタデータ） (2024-01-29T18:53:33Z)
• PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance [65.5618804029422]
  これまでの研究は、明示的な劣化モデルを用いて解空間を制限することで、注目すべき成功を収めてきた。 実世界の劣化に適応可能な新しい視点である部分的ガイダンスを導入することでPGDiffを提案する。 提案手法は,既存の拡散優先手法に勝るだけでなく,タスク固有モデルと良好に競合する。
  論文  参考訳（メタデータ） (2023-09-19T17:51:33Z)
• All-in-one Multi-degradation Image Restoration Network via Hierarchical Degradation Representation [47.00239809958627]
  我々は新しいオールインワン・マルチデグレーション画像復元ネットワーク(AMIRNet)を提案する。 AMIRNetは、クラスタリングによって木構造を段階的に構築することで、未知の劣化画像の劣化表現を学習する。 この木構造表現は、様々な歪みの一貫性と不一致を明示的に反映しており、画像復元の具体的な手がかりとなっている。
  論文  参考訳（メタデータ） (2023-08-06T04:51:41Z)
• Robust Unsupervised StyleGAN Image Restoration [5.33024001730262]
  GANベースの画像復元は、既知の劣化によって破損した画像を修復する生成過程を反転させる。 StyleGANイメージの復元を堅牢にし、広範囲の劣化レベルで動作します。 提案手法は3相進行潜在空間拡張と保守的ロバスト性に依存している。
  論文  参考訳（メタデータ） (2023-02-13T22:45:54Z)
• Perceptual Image Restoration with High-Quality Priori and Degradation Learning [28.93489249639681]
  本モデルは,復元画像と劣化画像の類似度を測定するのに有効であることを示す。 同時修復・拡張フレームワークは,実世界の複雑な分解型によく一般化する。
  論文  参考訳（メタデータ） (2021-03-04T13:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。