論文の概要: DiffGAR: Model-Agnostic Restoration from Generative Artifacts Using
Image-to-Image Diffusion Models
- arxiv url: http://arxiv.org/abs/2210.08573v1
- Date: Sun, 16 Oct 2022 16:08:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 19:17:56.467707
- Title: DiffGAR: Model-Agnostic Restoration from Generative Artifacts Using
Image-to-Image Diffusion Models
- Title（参考訳）: DiffGAR:画像と画像の拡散モデルを用いた生成物からのモデルに依存しない復元
- Authors: Yueqin Yin, Lianghua Huang, Yu Liu, Kaiqi Huang
- Abstract要約: この作業は、多様な生成モデルのためのプラグイン後処理モジュールの開発を目的としている。
従来の劣化パターンとは異なり、生成アーティファクトは非線形であり、変換関数は非常に複雑である。
- 参考スコア（独自算出の注目度）: 46.46919194633776
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent generative models show impressive results in photo-realistic image
generation. However, artifacts often inevitably appear in the generated
results, leading to downgraded user experience and reduced performance in
downstream tasks. This work aims to develop a plugin post-processing module for
diverse generative models, which can faithfully restore images from diverse
generative artifacts. This is challenging because: (1) Unlike traditional
degradation patterns, generative artifacts are non-linear and the
transformation function is highly complex. (2) There are no readily available
artifact-image pairs. (3) Different from model-specific anti-artifact methods,
a model-agnostic framework views the generator as a black-box machine and has
no access to the architecture details. In this work, we first design a group of
mechanisms to simulate generative artifacts of popular generators (i.e., GANs,
autoregressive models, and diffusion models), given real images. Second, we
implement the model-agnostic anti-artifact framework as an image-to-image
diffusion model, due to its advantage in generation quality and capacity.
Finally, we design a conditioning scheme for the diffusion model to enable both
blind and non-blind image restoration. A guidance parameter is also introduced
to allow for a trade-off between restoration accuracy and image quality.
Extensive experiments show that our method significantly outperforms previous
approaches on the proposed datasets and real-world artifact images.
- Abstract（参考訳）: 最近の生成モデルは、フォトリアリスティック画像生成における印象的な結果を示している。
しかし、成果物は必然的に生成結果に現れ、ユーザエクスペリエンスが低下し、ダウンストリームタスクのパフォーマンスが低下する。
この研究は、多様な生成物から画像を忠実に復元できる多様な生成モデルのためのプラグインポストプロセッシングモジュールの開発を目的としている。
1) 従来の劣化パターンとは異なり、生成的アーティファクトは非線形であり、変換関数は非常に複雑である。
2) アーティファクトとイメージのペアは簡単には利用できない。
(3) モデル固有のアンチアーティファクトメソッドとは異なり、モデルに依存しないフレームワークはジェネレータをブラックボックスマシンとみなし、アーキテクチャの詳細にアクセスできない。
本研究は,実画像を用いて,一般的な生成器(gan,自己回帰モデル,拡散モデル)の生成的アーティファクトをシミュレートする機構群をまず設計する。
第2に,画像から画像への拡散モデルとして,モデル非依存なアンチアーティファクトフレームワークを実装した。
最後に,ブラインドと非ブリンド画像の復元を可能にする拡散モデルのコンディショニングスキームを設計する。
復元精度と画質のトレードオフを可能にするため、ガイダンスパラメータも導入された。
広範な実験により,提案するデータセットや実世界のアーティファクト画像に対する従来のアプローチを有意に上回っていることが示された。
関連論文リスト
- Towards Unsupervised Blind Face Restoration using Diffusion Prior [12.69610609088771]
ブラインド顔復元法は、教師付き学習による大規模合成データセットの訓練において、顕著な性能を示した。
これらのデータセットは、手作りの画像分解パイプラインで、低品質の顔イメージをシミュレートすることによって生成されることが多い。
本稿では, 入力画像の集合のみを用いて, 劣化が不明で, 真理の目標がない場合にのみ, 復元モデルの微調整を行うことにより, この問題に対処する。
我々の最良のモデルは、合成と実世界の両方のデータセットの最先端の結果も達成します。
論文 参考訳（メタデータ） (2024-10-06T20:38:14Z) - How to Trace Latent Generative Model Generated Images without Artificial Watermark? [88.04880564539836]
潜在生成モデルによって生成された画像に関する潜在的な誤用に関する懸念が持ち上がっている。
検査されたモデルの生成された画像をトレースするために,レイトタントトラッカーと呼ばれる潜時反転に基づく手法を提案する。
提案手法は,検査したモデルと他の画像から生成された画像とを高精度かつ効率的に識別できることを示す。
論文 参考訳（メタデータ） (2024-05-22T05:33:47Z) - Active Generation for Image Classification [45.93535669217115]
本稿では,モデルのニーズと特徴に着目し,画像生成の効率性に対処することを提案する。
能動学習の中心的傾向として,ActGenという手法が,画像生成のトレーニング・アウェア・アプローチを取り入れている。
論文 参考訳（メタデータ） (2024-03-11T08:45:31Z) - Class-Prototype Conditional Diffusion Model with Gradient Projection for Continual Learning [20.175586324567025]
破滅的な忘れ方を減らすことは、継続的な学習における重要なハードルである。
大きな問題は、生成したデータの品質がオリジナルのものと比べて低下することである。
本稿では,ジェネレータにおける画像品質を向上させる連続学習のためのGRに基づくアプローチを提案する。
論文 参考訳（メタデータ） (2023-12-10T17:39:42Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - Diffusion Models for Image Restoration and Enhancement -- A
Comprehensive Survey [96.99328714941657]
本稿では,近年の拡散モデルに基づく画像復元手法について概観する。
我々は、赤外線とブラインド/現実世界の両方で拡散モデルを用いて、革新的なデザインを分類し、強調する。
本稿では,拡散モデルに基づくIRの今後の研究に向けた5つの可能性と課題を提案する。
論文 参考訳（メタデータ） (2023-08-18T08:40:38Z) - Alteration-free and Model-agnostic Origin Attribution of Generated
Images [28.34437698362946]
画像生成モデルの誤用が懸念されている。
特定の画像が特定のモデルによって生成されたかどうかを推測することにより、画像の起源を分析する必要がある。
論文 参考訳（メタデータ） (2023-05-29T01:35:37Z) - InvGAN: Invertible GANs [88.58338626299837]
InvGANはInvertible GANの略で、高品質な生成モデルの潜在空間に実際の画像を埋め込むことに成功した。
これにより、画像のインペイント、マージ、オンラインデータ拡張を実行できます。
論文 参考訳（メタデータ） (2021-12-08T21:39:00Z) - High-Fidelity Synthesis with Disentangled Representation [60.19657080953252]
本稿では,不整合学習と高忠実度合成のためのID-GAN(Information-Distillation Generative Adrial Network)を提案する。
提案手法は, VAEモデルを用いて非交叉表現を学習し, 高忠実度合成のためのGAN生成器に追加のニュアンス変数で学習表現を蒸留する。
単純さにもかかわらず,提案手法は高効率であり,不整合表現を用いた最先端の手法に匹敵する画像生成品質を実現する。
論文 参考訳（メタデータ） (2020-01-13T14:39:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。