論文の概要: Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration

• arxiv url: http://arxiv.org/abs/2406.18516v2
• Date: Fri, 04 Oct 2024 06:25:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-07 15:07:06.359412
• Title: Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration
• Title（参考訳）: 適応としてのDenoising:画像復元のためのノイズ空間領域適応
• Authors: Kang Liao, Zongsheng Yue, Zhouxia Wang, Chen Change Loy,
• Abstract要約: 拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。 拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
• 参考スコア（独自算出の注目度）: 64.84134880709625
• License:
• Abstract: Although learning-based image restoration methods have made significant progress, they still struggle with limited generalization to real-world scenarios due to the substantial domain gap caused by training on synthetic data. Existing methods address this issue by improving data synthesis pipelines, estimating degradation kernels, employing deep internal learning, and performing domain adaptation and regularization. Previous domain adaptation methods have sought to bridge the domain gap by learning domain-invariant knowledge in either feature or pixel space. However, these techniques often struggle to extend to low-level vision tasks within a stable and compact framework. In this paper, we show that it is possible to perform domain adaptation via the noise space using diffusion models. In particular, by leveraging the unique property of how auxiliary conditional inputs influence the multi-step denoising process, we derive a meaningful diffusion loss that guides the restoration model in progressively aligning both restored synthetic and real-world outputs with a target clean distribution. We refer to this method as denoising as adaptation. To prevent shortcuts during joint training, we present crucial strategies such as channel-shuffling layer and residual-swapping contrastive learning in the diffusion model. They implicitly blur the boundaries between conditioned synthetic and real data and prevent the reliance of the model on easily distinguishable features. Experimental results on three classical image restoration tasks, namely denoising, deblurring, and deraining, demonstrate the effectiveness of the proposed method.
• Abstract（参考訳）: 学習に基づく画像復元法は大きな進歩を遂げているが, 合成データの学習によって生じる領域ギャップにより, 現実のシナリオへの限定的な一般化に苦慮している。 既存の手法では、データ合成パイプラインを改善し、劣化カーネルを推定し、深い内部学習を採用し、ドメイン適応と正規化を実行することでこの問題に対処している。 従来の領域適応手法は、特徴空間または画素空間における領域不変知識を学習することで、領域ギャップを埋めることを模索してきた。 しかしながら、これらの技術は安定かつコンパクトなフレームワーク内の低レベルの視覚タスクにまで拡張するのに苦労することが多い。 本稿では,拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。 特に, 補助条件入力が多段階の復調過程にどのように影響するかというユニークな特性を活用することにより, 復元された合成出力と実世界の出力の両方を対象のクリーンな分布とを漸進的に整合させることで, 復元モデルを導く有意義な拡散損失を導出する。 我々はこの手法を適応と表現している。 共同トレーニングにおけるショートカットを防止するため,拡散モデルにおけるチャネルシャッフル層や残差スワッピングコントラスト学習などの重要な戦略を提示する。 条件付き合成データと実データの境界を暗黙的に曖昧にし、容易に識別可能な特徴に対するモデルの依存を防ぐ。 提案手法の有効性を実証するために,3つの古典的画像復元作業,すなわちデノイング,デブロアリング,デライニング実験を行った。

関連論文リスト

• ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
  本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。 我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-03-21T17:52:08Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
  この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。 提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。 提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
  論文  参考訳（メタデータ） (2023-07-15T04:48:35Z)
• Seismic Data Interpolation via Denoising Diffusion Implicit Models with Coherence-corrected Resampling [7.755439545030289]
  U-Netのようなディープラーニングモデルは、トレーニングとテストの欠落パターンが一致しない場合、しばしばパフォーマンスが低下する。 マルチモーダル拡散モデルに基づく新しいフレームワークを提案する。 推論フェーズでは,サンプリングステップの数を減らし,暗黙的拡散モデルを導入する。 露呈された痕跡と欠落した痕跡との一貫性と連続性を高めるために,我々は2つの戦略を提案する。
  論文  参考訳（メタデータ） (2023-07-09T16:37:47Z)
• Empowering Diffusion Models on the Embedding Space for Text Generation [38.664533078347304]
  埋め込み空間とデノナイジングモデルの両方で直面する最適化課題について検討する。 データ分散は埋め込みにおいて学習可能であり、埋め込み空間の崩壊と不安定なトレーニングにつながる可能性がある。 以上の解析に基づいて,Transformerに基づく埋め込み拡散モデルであるDifformerを提案する。
  論文  参考訳（メタデータ） (2022-12-19T12:44:25Z)
• Learning Discriminative Shrinkage Deep Networks for Image Deconvolution [122.79108159874426]
  本稿では,これらの用語を暗黙的にモデル化する識別的縮小関数を学習することで,効果的に非盲検デコンボリューション手法を提案する。 実験結果から,提案手法は最先端の手法に対して,効率と精度の点で好適に動作することがわかった。
  論文  参考訳（メタデータ） (2021-11-27T12:12:57Z)
• Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
  いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。 その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。 本稿では,ドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T08:51:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。