論文の概要: Towards Coherent Image Inpainting Using Denoising Diffusion Implicit
Models
- arxiv url: http://arxiv.org/abs/2304.03322v1
- Date: Thu, 6 Apr 2023 18:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-10 13:57:37.757798
- Title: Towards Coherent Image Inpainting Using Denoising Diffusion Implicit
Models
- Title(参考訳): Denoising Diffusion Implicit Model を用いたコヒーレント画像の描画
- Authors: Guanhua Zhang, Jiabao Ji, Yang Zhang, Mo Yu, Tommi Jaakkola, Shiyu
Chang
- Abstract要約: ミスマッチを伴わずに全体像をコヒーレントに描けるCOPAINTを提案する。
COPAINTはまた、ベイジアンフレームワークを使用して、明らかにされていない領域と未公開領域の両方を共同で修正している。
実験により,COPAINTは,客観的,主観的両方の指標の下で,既存の拡散法よりも優れていることを確認した。
- 参考スコア(独自算出の注目度): 43.83732051916894
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image inpainting refers to the task of generating a complete, natural image
based on a partially revealed reference image. Recently, many research
interests have been focused on addressing this problem using fixed diffusion
models. These approaches typically directly replace the revealed region of the
intermediate or final generated images with that of the reference image or its
variants. However, since the unrevealed regions are not directly modified to
match the context, it results in incoherence between revealed and unrevealed
regions. To address the incoherence problem, a small number of methods
introduce a rigorous Bayesian framework, but they tend to introduce mismatches
between the generated and the reference images due to the approximation errors
in computing the posterior distributions. In this paper, we propose COPAINT,
which can coherently inpaint the whole image without introducing mismatches.
COPAINT also uses the Bayesian framework to jointly modify both revealed and
unrevealed regions, but approximates the posterior distribution in a way that
allows the errors to gradually drop to zero throughout the denoising steps,
thus strongly penalizing any mismatches with the reference image. Our
experiments verify that COPAINT can outperform the existing diffusion-based
methods under both objective and subjective metrics. The codes are available at
https://github.com/UCSB-NLP-Chang/CoPaint/.
- Abstract(参考訳): イメージ・インペインティング(image inpainting)は、部分的に露呈した参照画像に基づいて、完全な自然画像を生成するタスクである。
近年,固定拡散モデルを用いてこの問題に取り組む研究が盛んに行われている。
これらのアプローチは典型的には、中間または最終生成画像の明らかな領域を直接参照画像またはその変種に置き換える。
しかし、未発見領域は文脈に合わせて直接修正されないため、明らかな領域と未発見領域の非一貫性が生じる。
不整合問題に対処するために、少数の手法では厳密なベイズフレームワークを導入するが、後続分布を計算する際の近似誤差により生成した画像と参照画像とのミスマッチが生じる傾向がある。
本稿では,ミスマッチを発生させることなく画像全体をコヒーレントに彩色できるコパインを提案する。
また、copaintはベイズフレームワークを使用して、露見領域と未開領域の両方を共同で修正するが、後方分布を近似し、誤差がノイズの段階を通じて徐々にゼロになるようにすることで、参照画像とのミスマッチを強烈にペナルティ化する。
実験により,COPAINTは,客観的,主観的両方の指標の下で既存の拡散法よりも優れていることを確認した。
コードはhttps://github.com/UCSB-NLP-Chang/CoPaint/で公開されている。
関連論文リスト
- Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳(メタデータ) (2023-09-18T09:36:24Z) - DARC: Distribution-Aware Re-Coloring Model for Generalizable Nucleus
Segmentation [68.43628183890007]
ドメインギャップは、異なるフォアグラウンド(核)-バックグラウンド比によっても引き起こされる可能性があると我々は主張する。
まず、異なる領域間の劇的な画像色変化を緩和する再カラー化手法を提案する。
次に,前景-背景比の変動に頑健な新しいインスタンス正規化手法を提案する。
論文 参考訳(メタデータ) (2023-09-01T01:01:13Z) - Sequential edge detection using joint hierarchical Bayesian learning [5.182970026171219]
本稿では,雑音およびアンダーサンプリングされたフーリエデータからエッジマップの時間列を協調的に復元する新しいスパースベイズ学習(SBL)アルゴリズムを提案する。
我々の数値的な例は、我々の新しい手法がより標準的なSBL手法と好適に比較できることを示している。
論文 参考訳(メタデータ) (2023-02-28T02:09:44Z) - High-Fidelity Guided Image Synthesis with Latent Diffusion Models [50.39294302741698]
提案手法は, ユーザ満足度スコアを85.32%以上上回り, 従来の最先端技術よりも優れていた。
人的ユーザ調査の結果、提案手法は、全体のユーザ満足度スコアにおいて、従来の最先端技術よりも85.32%以上優れていたことが示されている。
論文 参考訳(メタデータ) (2022-11-30T15:43:20Z) - MIDMs: Matching Interleaved Diffusion Models for Exemplar-based Image
Translation [29.03892463588357]
マッチング型インターリーブド拡散モデル (MIDM) と呼ばれる, 画像翻訳のための新しい手法を提案する。
拡散に基づくマッチング・アンド・ジェネレーション・フレームワークを定式化し、ドメイン間マッチングと拡散ステップを潜時空間でインターリーブする。
拡散過程の信頼性を向上させるため,サイクル整合性を用いた信頼度対応プロセスの設計を行い,信頼度の高い領域のみを考える。
論文 参考訳(メタデータ) (2022-09-22T14:43:52Z) - Region-aware Attention for Image Inpainting [33.22497212024083]
本稿では,画像の描画のための新しい領域認識アテンション (RA) モジュールを提案する。
単一サンプルにおける各画素対間の相関を直接計算することを避けることにより、ホール内の無効情報の誤認を回避することができる。
学習可能な領域辞書(LRD)を導入し、データセット全体に重要な情報を格納する。
我々の手法は、現実的な詳細で意味論的に妥当な結果を生成することができる。
論文 参考訳(メタデータ) (2022-04-03T06:26:22Z) - Deep Variational Network Toward Blind Image Restoration [55.33102369856991]
ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。
両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。
画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
論文 参考訳(メタデータ) (2020-08-25T03:30:53Z) - Weighted Encoding Based Image Interpolation With Nonlocal Linear
Regression Model [8.013127492678272]
超高解像度画像では、低解像度画像は、ぼやけやノイズを伴わずに、その高解像度画像から直接ダウンサンプリングされる。
この問題に対処するために,スパース表現に基づく新しい画像モデルを提案する。
クラスタリングではなく、オンラインの適応サブ辞書を学習するための新しいアプローチ。
論文 参考訳(メタデータ) (2020-03-04T03:20:21Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。