論文の概要: Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers

• arxiv url: http://arxiv.org/abs/2410.08688v2
• Date: Wed, 04 Dec 2024 04:28:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-05 15:05:48.723264
• Title: Chain-of-Restoration: Multi-Task Image Restoration Models are Zero-Shot Step-by-Step Universal Image Restorers
• Title（参考訳）: Chain-of-Restoration:マルチタスク画像復元モデルはゼロショットステップバイステップユニバーサル画像復元器である
• Authors: Jin Cao, Deyu Meng, Xiangyong Cao,
• Abstract要約: 本稿では,UIR(Universal Image Restoration)という新たなタスク設定を提案する。 UIRは、すべての劣化組み合わせのトレーニングを必要とせず、一連の劣化基だけに限って、これらの基がゼロショットで構成できる可能性のある劣化を取り除く。 本稿では,未知の複合劣化を段階的に除去するモデルをモデルに指示する,CoR(Chain-of-Restoration)機構を提案する。
• 参考スコア（独自算出の注目度）: 53.298698981438
• License:
• Abstract: Despite previous image restoration (IR) methods have often concentrated on isolated degradations, recent research has increasingly focused on addressing composite degradations involving a complex combination of multiple isolated degradations. However, current IR methods for composite degradations require building training data that contain an exponential number of possible degradation combinations, which brings in a significant burden. To alleviate this issue, this paper proposes a new task setting, i.e. Universal Image Restoration (UIR). Specifically, UIR doesn't require training on all the degradation combinations but only on a set of degradation bases and then removing any degradation that these bases can potentially compose in a zero-shot manner. Inspired by the Chain-of-Thought that prompts large language models (LLMs) to address problems step-by-step, we propose Chain-of-Restoration (CoR) mechanism, which instructs models to remove unknown composite degradations step-by-step. By integrating a simple Degradation Discriminator into pre-trained multi-task models, CoR facilitates the process where models remove one degradation basis per step, continuing this process until the image is fully restored from the unknown composite degradation. Extensive experiments show that CoR can significantly improve model performance in removing composite degradations, achieving comparable or better results than those state-of-the-art (SoTA) methods trained on all degradations.
• Abstract（参考訳）: 従来の画像復元(IR)法は、しばしば孤立した劣化に集中しているが、最近の研究では、複数の孤立した劣化の複雑な組み合わせを含む複合的な劣化への対処に焦点が当てられている。 しかし, 複合劣化に対する現在のIR法では, 指数関数的な劣化組合せを含む建築訓練データが必要であるため, かなりの負担が伴う。 この問題を軽減するために,本稿では,UIR(Universal Image Restoration)という新たなタスク設定を提案する。 具体的には、UIRは、すべての劣化組み合わせのトレーニングを必要とせず、一連の劣化ベースだけに限って、これらの塩基がゼロショットで構成できる可能性のある劣化を取り除く。 大規模言語モデル(LLM)を段階的に処理するChain-of-Thoughtに着想を得て,未知の合成劣化を段階的に除去するChain-of-Restoration(CoR)機構を提案する。 単純な劣化判別器を事前訓練されたマルチタスクモデルに統合することにより、CoRはモデルがステップ毎に1つの劣化ベースを除去し、未知の複合劣化から画像が完全に復元されるまでこのプロセスを継続するプロセスを促進する。 大規模な実験により、CoRは複合劣化を除去する際のモデル性能を大幅に改善し、全ての劣化に対して訓練された最先端(SoTA)法と同等または優れた結果が得られることが示された。

関連論文リスト

• UniRestorer: Universal Image Restoration via Adaptively Estimating Image Degradation at Proper Granularity [79.90839080916913]
  We present our UniRestorer with improve restoration performance。 具体的には、劣化空間上で階層的クラスタリングを行い、マルチグラニュラリティ・ミックス・オブ・エキスパート(MoE)復元モデルを訓練する。 UniRestorerは、既存の劣化診断法と -aware 法とは対照的に、劣化推定を利用して劣化特定回復の恩恵を受けることができる。
  論文  参考訳（メタデータ） (2024-12-28T14:09:08Z)
• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• UIR-LoRA: Achieving Universal Image Restoration through Multiple Low-Rank Adaptation [50.27688690379488]
  既存の統合手法は、マルチタスク学習問題として、多重劣化画像復元を扱う。 本稿では,複数のローランクアダプタ(LoRA)をベースとした汎用画像復元フレームワークを提案する。 本フレームワークは, 学習前の生成モデルを多段劣化復元のための共有コンポーネントとして利用し, 特定の劣化画像復元タスクに転送する。
  論文  参考訳（メタデータ） (2024-09-30T11:16:56Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Deep Equilibrium Diffusion Restoration with Parallel Sampling [120.15039525209106]
  拡散モデルに基づく画像復元(IR)は、拡散モデルを用いて劣化した画像から高品質な(本社)画像を復元し、有望な性能を達成することを目的としている。 既存のほとんどの手法では、HQイメージをステップバイステップで復元するために長いシリアルサンプリングチェーンが必要であるため、高価なサンプリング時間と高い計算コストがかかる。 本研究では,拡散モデルに基づくIRモデルを異なる視点,すなわちDeqIRと呼ばれるDeQ(Deep equilibrium)固定点系で再考することを目的とする。
  論文  参考訳（メタデータ） (2023-11-20T08:27:56Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。