論文の概要: GenDeg: Diffusion-Based Degradation Synthesis for Generalizable All-in-One Image Restoration

• arxiv url: http://arxiv.org/abs/2411.17687v1
• Date: Tue, 26 Nov 2024 18:55:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:34:36.184645
• Title: GenDeg: Diffusion-Based Degradation Synthesis for Generalizable All-in-One Image Restoration
• Title（参考訳）: GenDeg: 一般化可能なオールインワン画像復元のための拡散に基づく劣化合成
• Authors: Sudarshan Rajagopalan, Nithin Gopalakrishnan Nair, Jay N. Paranjape, Vishal M. Patel,
• Abstract要約: 我々は,クリーンな画像上で多様な劣化パターンを生成できる条件拡散モデルGenDegを紹介する。 我々は,550万点以上の試料を,ヘイズ,雨,雪,動きのぼやけ,低照度,雨滴の6種類に分けて合成した。 実験の結果,GenDSデータセットでトレーニングした画像復元モデルは,アウト・オブ・ディストリビューション性能の大幅な向上を示した。
• 参考スコア（独自算出の注目度）: 26.434359848151978
• License:
• Abstract: Deep learning-based models for All-In-One Image Restoration (AIOR) have achieved significant advancements in recent years. However, their practical applicability is limited by poor generalization to samples outside the training distribution. This limitation arises primarily from insufficient diversity in degradation variations and scenes within existing datasets, resulting in inadequate representations of real-world scenarios. Additionally, capturing large-scale real-world paired data for degradations such as haze, low-light, and raindrops is often cumbersome and sometimes infeasible. In this paper, we leverage the generative capabilities of latent diffusion models to synthesize high-quality degraded images from their clean counterparts. Specifically, we introduce GenDeg, a degradation and intensity-aware conditional diffusion model capable of producing diverse degradation patterns on clean images. Using GenDeg, we synthesize over 550k samples across six degradation types: haze, rain, snow, motion blur, low-light, and raindrops. These generated samples are integrated with existing datasets to form the GenDS dataset, comprising over 750k samples. Our experiments reveal that image restoration models trained on the GenDS dataset exhibit significant improvements in out-of-distribution performance compared to those trained solely on existing datasets. Furthermore, we provide comprehensive analyses on the implications of diffusion model-based synthetic degradations for AIOR. The code will be made publicly available.
• Abstract（参考訳）: All-In-One Image Restoration (AIOR) のためのディープラーニングベースのモデルが近年大きな進歩を遂げている。 しかし, 実際の適用性は, トレーニング分布外のサンプルにはほとんど一般化されないため, 限界がある。 この制限は、主に既存のデータセット内の劣化のばらつきやシーンの多様性の不足から生じ、現実のシナリオの不十分な表現をもたらす。 さらに、ヘイズ、低照度、雨滴などの劣化のための大規模な実世界のペアデータを取得することは、しばしば困難であり、時には実現不可能である。 本稿では,遅延拡散モデルの生成機能を活用し,高品質な劣化画像をクリーンな画像から合成する。 具体的には、クリーンな画像上で多様な劣化パターンを生成できる劣化・強度認識型条件拡散モデルであるGenDegを紹介する。 GenDegを使って、ヘイズ、雨、雪、動きのぼかし、低照度、雨滴の6種類の分解タイプで550万以上のサンプルを合成する。 これらの生成されたサンプルは既存のデータセットと統合され、750万以上のサンプルからなるGenDSデータセットを形成する。 実験の結果,GenDSデータセットでトレーニングした画像復元モデルは,既存のデータセットでのみトレーニングした画像と比較して,分布外性能が大幅に向上したことがわかった。 さらに,AIORにおける拡散モデルに基づく合成劣化の影響を包括的に分析する。 コードは公開されます。

関連論文リスト

• FoundIR: Unleashing Million-scale Training Data to Advance Foundation Models for Image Restoration [66.61201445650323]
  既存の手法は現実のシナリオにおける一般化ボトルネックに悩まされる。 既存のトレーニングデータに対して,2つの大きなメリットがある,100万規模のデータセットをコントリビュートしています。 実世界のシナリオにおいて,より広範囲の復元作業に対処するために,ロバストなモデルFoundIRを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:08:40Z)
• Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration [29.731089599252954]
  マルチウェザー画像復元のための劣化促進拡散フレームワーク(D4IR)を提案する。 モデル崩壊を避けるために、GANを事前訓練された拡散モデルに置き換え、劣化認識プロンプトアダプタを組み込む。 提案手法は,元のトレーニングデータで蒸留したモデルに匹敵する性能を示し,他の主流の教師なし手法よりも優れている。
  論文  参考訳（メタデータ） (2024-09-05T12:07:17Z)
• Photo-Realistic Image Restoration in the Wild with Controlled Vision-Language Models [14.25759541950917]
  この研究は、能動的視覚言語モデルと合成分解パイプラインを活用して、野生(ワイルドIR)における画像復元を学習する。 我々の基底拡散モデルは画像復元SDE(IR-SDE)である。
  論文  参考訳（メタデータ） (2024-04-15T12:34:21Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Learned representation-guided diffusion models for large-image generation [58.192263311786824]
  自己教師型学習(SSL)からの埋め込みを条件とした拡散モデルを訓練する新しいアプローチを導入する。 我々の拡散モデルは、これらの特徴を高品質な病理組織学およびリモートセンシング画像に投影することに成功した。 実画像のバリエーションを生成して実データを増やすことにより、パッチレベルおよび大規模画像分類タスクの下流精度が向上する。
  論文  参考訳（メタデータ） (2023-12-12T14:45:45Z)
• Improving the Effectiveness of Deep Generative Data [5.856292656853396]
  下流の画像処理タスクのための純粋合成画像のモデルを訓練すると、実際のデータに対するトレーニングに比べ、望ましくない性能低下が生じる。 本稿では,この現象に寄与する要因を記述した新しい分類法を提案し,CIFAR-10データセットを用いて検討する。 本手法は,合成データと合成データの混合による学習と合成データのみの学習において,下流分類タスクのベースラインに優れる。
  論文  参考訳（メタデータ） (2023-11-07T12:57:58Z)
• Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional Image Synthesis [62.07413805483241]
  Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。 塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
  論文  参考訳（メタデータ） (2023-09-30T02:03:22Z)
• DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration [66.01846902242355]
  ブラインド顔復元は通常、トレーニングのための事前定義された劣化モデルで劣化した低品質データを合成する。 トレーニングデータに現実のケースをカバーするために、あらゆる種類の劣化を含めることは、高価で実現不可能である。 本稿では、まず、劣化した画像を粗いが劣化不変な予測に変換し、次に、粗い予測を高品質な画像に復元するために拡張モジュールを使用するロバスト劣化再帰法(DR2)を提案する。
  論文  参考訳（メタデータ） (2023-03-13T06:05:18Z)
• Rethinking Real-world Image Deraining via An Unpaired Degradation-Conditioned Diffusion Model [51.49854435403139]
  本研究では,拡散モデルに基づく最初の実世界の画像デライニングパラダイムであるRainDiffを提案する。 安定的で非敵対的なサイクル一貫性のあるアーキテクチャを導入し、トレーニングをエンドツーエンドで行えます。 また,複数の降雨の先行学習によって条件付けられた拡散生成過程を通じて,所望の出力を洗練する劣化条件拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-01-23T13:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。