論文の概要: Adaptive Blind All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2411.18412v1
• Date: Wed, 27 Nov 2024 14:58:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:23.686766
• Title: Adaptive Blind All-in-One Image Restoration
• Title（参考訳）: 適応ブラインドオールインワン画像復元
• Authors: David Serrano-Lozano, Luis Herranz, Shaolin Su, Javier Vazquez-Corral,
• Abstract要約: ブラインドオールインワン画像復元モデルは、未知の歪みで劣化した入力から高品質な画像を復元することを目的としている。 これらのモデルでは、トレーニング段階では可能なすべての分解タイプを定義しながら、目に見えない分解に対して限定的な一般化を示す必要がある。 複数の劣化に対処し、目に見えない劣化を一般化し、少数のパラメータをトレーニングすることで、新しい劣化を効果的に組み込むことができる、単純で効果的な適応型ブラインド・イン・ワン復元モデルを提案する。
• 参考スコア（独自算出の注目度）: 15.726917603679716
• License:
• Abstract: Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.
• Abstract（参考訳）: ブラインドオールインワン画像復元モデルは、未知の歪みで劣化した入力から高品質な画像を復元することを目的としている。 しかし、これらのモデルでは、トレーニング段階で可能なすべての分解タイプを定義しつつ、未確認の分解に限定した一般化を示しながら、複雑な場合における実用的応用を制限する必要がある。 本稿では、複数の劣化に対処し、目に見えない劣化を一般化し、少数のパラメータをトレーニングすることで、新しい劣化を効果的に組み込むことのできる、単純で効果的な適応型ブラインド・オールインワン・リストア(ABAIR)モデルを提案する。 まず,複数の合成劣化を伴う自然画像の大規模データセット上にベースラインモデルをトレーニングし,各画素の劣化タイプを推定するためにセグメンテーションヘッドを付加することにより,強力なバックボーンを広範囲の劣化に一般化できることを示す。 第2に、独立した低ランクアダプタを用いて、画像復元タスクにベースラインモデルを適用する。 第3に、フレキシブルで軽量な劣化推定器を用いて、アダプタを多目的画像に適応的に組み合わせることを学ぶ。 我々のモデルは、特定の歪みに対処する上で強力であり、複雑なタスクに適応する上でも柔軟であると同時に、5段と3段のIRセットアップにおいて最先端の手法よりも優れているだけでなく、目に見えない劣化への一般化や複合歪みの改善も示している。

関連論文リスト

• FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
  既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。 既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。 実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:08:40Z)
• Mixed Degradation Image Restoration via Local Dynamic Optimization and Conditional Embedding [67.57487747508179]
  マルチインワン画像復元 (IR) は, 一つのモデルで全ての種類の劣化画像復元を処理し, 大幅な進歩を遂げている。 本稿では,単一と混合の分解で画像を効果的に復元できる新しいマルチインワンIRモデルを提案する。
  論文  参考訳（メタデータ） (2024-11-25T09:26:34Z)
• OneRestore: A Universal Restoration Framework for Composite Degradation [33.556183375565034]
  現実のシナリオでは、画像障害はしばしば複合的な劣化として現れ、低光、迷路、雨、雪といった要素の複雑な相互作用を示す。 本研究では, 複雑な複合劣化シナリオを正確に表現するために, 4つの物理劣化パラダイムを統合した多目的イメージングモデルを提案する。 OneRestoreは、適応的で制御可能なシーン復元のために設計された新しいトランスフォーマーベースのフレームワークである。
  論文  参考訳（メタデータ） (2024-07-05T16:27:00Z)
• Efficient Degradation-aware Any Image Restoration [83.92870105933679]
  我々は,低ランク体制下での学習者(DaLe)を用いた効率的なオールインワン画像復元システムである textitDaAIR を提案する。 モデルキャパシティを入力劣化に動的に割り当てることにより、総合学習と特定の学習を統合した効率的な復調器を実現する。
  論文  参考訳（メタデータ） (2024-05-24T11:53:27Z)
• Generalizing to Out-of-Sample Degradations via Model Reprogramming [29.56470202794348]
  アウト・オブ・サンプル修復(OSR)タスクは、アウト・オブ・サンプル劣化を処理可能な復元モデルを開発することを目的としている。 本稿では,量子力学と波動関数によるサンプル外劣化を変換するモデル再プログラミングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-09T11:56:26Z)
• Parameter Efficient Adaptation for Image Restoration with Heterogeneous Mixture-of-Experts [52.39959535724677]
  画像復元モデルの一般化を改善するための代替手法を提案する。 ローカル,グローバル,チャネル表現ベースをキャプチャするマルチブランチ設計のMixture-of-Experts (MoE) であるAdaptIRを提案する。 我々のAdaptIRは、単一劣化タスクにおける安定した性能を実現し、8時間間、微調整はわずか0.6%のパラメータしか持たず、ハイブリッド劣化タスクにおいて優れる。
  論文  参考訳（メタデータ） (2023-12-12T14:27:59Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Invertible Rescaling Network and Its Extensions [118.72015270085535]
  本研究では,新たな視点から双方向の劣化と復元をモデル化する,新しい可逆的枠組みを提案する。 我々は、有効な劣化画像を生成し、失われたコンテンツの分布を変換する可逆モデルを開発する。 そして、ランダムに描画された潜在変数とともに、生成された劣化画像に逆変換を適用することにより、復元可能とする。
  論文  参考訳（メタデータ） (2022-10-09T06:58:58Z)
• One Size Fits All: Hypernetwork for Tunable Image Restoration [5.33024001730262]
  我々は,複数のモデルの精度を向上し,異なるレベルの劣化に最適化した,可変画像復元のための新しい手法を提案する。 我々のモデルは、一定数のパラメータと様々な画像復元タスクで必要に応じて、最小限の劣化レベルを復元するように最適化することができる。
  論文  参考訳（メタデータ） (2022-06-13T08:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。