論文の概要: Zero-Shot Image Restoration Using Few-Step Guidance of Consistency Models (and Beyond)

• arxiv url: http://arxiv.org/abs/2412.20596v1
• Date: Sun, 29 Dec 2024 22:00:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:06:14.990578
• Title: Zero-Shot Image Restoration Using Few-Step Guidance of Consistency Models (and Beyond)
• Title（参考訳）: 一貫性モデルのFew-Step Guidanceを用いたゼロショット画像復元
• Authors: Tomer Garber, Tom Tirer,
• Abstract要約: そこで本研究では,CMを用いたゼロショット復元方式を提案する。 画像の超解像, 劣化, 塗装に対するアプローチの利点を実証する。
• 参考スコア（独自算出の注目度）: 9.975341265604577
• License:
• Abstract: In recent years, it has become popular to tackle image restoration tasks with a single pretrained diffusion model (DM) and data-fidelity guidance, instead of training a dedicated deep neural network per task. However, such "zero-shot" restoration schemes currently require many Neural Function Evaluations (NFEs) for performing well, which may be attributed to the many NFEs needed in the original generative functionality of the DMs. Recently, faster variants of DMs have been explored for image generation. These include Consistency Models (CMs), which can generate samples via a couple of NFEs. However, existing works that use guided CMs for restoration still require tens of NFEs or fine-tuning of the model per task that leads to performance drop if the assumptions during the fine-tuning are not accurate. In this paper, we propose a zero-shot restoration scheme that uses CMs and operates well with as little as 4 NFEs. It is based on a wise combination of several ingredients: better initialization, back-projection guidance, and above all a novel noise injection mechanism. We demonstrate the advantages of our approach for image super-resolution, deblurring and inpainting. Interestingly, we show that the usefulness of our noise injection technique goes beyond CMs: it can also mitigate the performance degradation of existing guided DM methods when reducing their NFE count.
• Abstract（参考訳）: 近年では、タスクごとに専用のディープニューラルネットワークをトレーニングするのではなく、単一の事前訓練された拡散モデル(DM)とデータ忠実性ガイダンスを用いて画像復元タスクに取り組むことが一般的になっている。 しかし、これらの「ゼロショット」復元スキームは、DMのオリジナルの生成機能に必要な多くのNFE(Neural Function Evaluation)に起因して、多くのNFE(Neural Function Evaluation)を必要とする。 近年,画像生成のためにDMの高速な変種が検討されている。 これには、いくつかのNFEを通じてサンプルを生成することができるCM(Consistency Models)が含まれている。 しかし、リストアにガイド付きCMを使用する既存の作業では、たとえ微調整時の仮定が正確でなければ、タスクごとのNFEやモデルの微調整がパフォーマンス低下につながる。 本稿では,CMを用いたゼロショット復元方式を提案する。 これは、より優れた初期化、バックプロジェクションガイダンス、そして全ての新しいノイズ注入機構の賢い組み合わせに基づいている。 画像の超解像, 劣化, 塗装に対するアプローチの利点を実証する。 また,NFE数を削減する際に,既存の誘導DM手法の性能劣化を軽減できることを示す。

関連論文リスト

• Exploring Diffusion Models' Corruption Stage in Few-Shot Fine-tuning and Mitigating with Bayesian Neural Networks [26.387044804861937]
  拡散モデル(DM)の微調整は重要な進歩であり、トレーニングコストを大幅に削減し、パーソナライズされたAIアプリケーションを可能にする。 トレーニングプロセス中、画像の忠実度は最初改善され、ノイズパターンの出現によって予期せぬ劣化が生じるが、その後、重度のオーバーフィッティングで回復する。 生成したノイズパターンを汚損段階と表現し, 実験結果から, オブジェクト駆動および主観駆動の両方で生成した画像の忠実度, 品質, 多様性を著しく低下させることが実証された。
  論文  参考訳（メタデータ） (2024-05-30T10:47:48Z)
• Invertible Diffusion Models for Compressed Sensing [22.293412255419614]
  Invertible Diffusion Models (IDM) は、効率的なエンドツーエンドの拡散に基づく圧縮センシング手法である。 当社のIDMは,PSNRにおいて既存のCSネットワークを最大2.64dB性能で上回っている。 最近の拡散型アプローチ DDNM と比較して、我々のIMM は最大 10.09dB PSNR ゲインと 14.54 倍高速な推論を実現している。
  論文  参考訳（メタデータ） (2024-03-25T17:59:41Z)
• FRDiff : Feature Reuse for Universal Training-free Acceleration of Diffusion Models [16.940023904740585]
  拡散モデルに固有の時間的冗長性を活用する高度な加速手法を提案する。 時間的類似度の高い特徴マップの再利用は、出力品質を損なうことなく計算資源を節約する新たな機会を開く。
  論文  参考訳（メタデータ） (2023-12-06T14:24:26Z)
• Multi-task Image Restoration Guided By Robust DINO Features [88.74005987908443]
  DINOv2から抽出したロバストな特徴を利用したマルチタスク画像復元手法であるmboxtextbfDINO-IRを提案する。 まず,DINOV2の浅い特徴を動的に融合するPSF (Pixel-semantic fusion) モジュールを提案する。 これらのモジュールを統一された深層モデルに定式化することにより、モデルトレーニングを制約するために、DINO知覚の対照的な損失を提案する。
  論文  参考訳（メタデータ） (2023-12-04T06:59:55Z)
• Learning from History: Task-agnostic Model Contrastive Learning for Image Restoration [79.04007257606862]
  本稿では,対象モデル自体から負のサンプルを動的に生成する「歴史からの学習」という革新的な手法を提案する。 我々のアプローチはMCLIR(Model Contrastive Learning for Image Restoration)と呼ばれ、遅延モデルを負のモデルとして再定義し、多様な画像復元タスクと互換性を持たせる。
  論文  参考訳（メタデータ） (2023-09-12T07:50:54Z)
• Attentive Fine-Grained Structured Sparsity for Image Restoration [63.35887911506264]
  N:M 構造化プルーニングは,モデルの精度制約を効率的にするための効果的かつ実用的なプルーニング手法の1つである。 そこで本稿では, 各層におけるN:M構造化空間の刈り取り比を決定する新しい刈り取り法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T12:44:55Z)
• Image Restoration by Deep Projected GSURE [115.57142046076164]
  Ill-posed inverse problem は、デブロアリングや超解像など、多くの画像処理アプリケーションに現れる。 本稿では,一般化されたSteinUnbiased Risk Estimator(GSURE)の「投影変換」とCNNによる潜在画像のパラメータ化を含む損失関数の最小化に基づく,新たな画像復元フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-04T08:52:46Z)
• Accurate and Lightweight Image Super-Resolution with Model-Guided Deep Unfolding Network [63.69237156340457]
  我々は、モデル誘導深部展開ネットワーク(MoG-DUN)と呼ばれるSISRに対する説明可能なアプローチを提示し、提唱する。 MoG-DUNは正確(エイリアスを少なくする)、計算効率(モデルパラメータを減らした)、多用途(多重劣化を処理できる)である。 RCAN, SRDNF, SRFBNを含む既存の最先端画像手法に対するMoG-DUN手法の優位性は、いくつかの一般的なデータセットと様々な劣化シナリオに関する広範な実験によって実証されている。
  論文  参考訳（メタデータ） (2020-09-14T08:23:37Z)
• BP-DIP: A Backprojection based Deep Image Prior [49.375539602228415]
  画像復元手法として, (i)Deep Image Prior (DIP) と (ii) バックプロジェクション (BP) の2つの手法を提案する。 提案手法はBP-DIP(BP-DIP)と呼ばれ,高いPSNR値とより優れた推論実行時間を持つ通常のDIPよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-03-11T17:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。