論文の概要: Towards Coherent Image Inpainting Using Denoising Diffusion Implicit Models

• arxiv url: http://arxiv.org/abs/2304.03322v1
• Date: Thu, 6 Apr 2023 18:35:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-10 13:57:37.757798
• Title: Towards Coherent Image Inpainting Using Denoising Diffusion Implicit Models
• Title（参考訳）: Denoising Diffusion Implicit Model を用いたコヒーレント画像の描画
• Authors: Guanhua Zhang, Jiabao Ji, Yang Zhang, Mo Yu, Tommi Jaakkola, Shiyu Chang
• Abstract要約: ミスマッチを伴わずに全体像をコヒーレントに描けるCOPAINTを提案する。 COPAINTはまた、ベイジアンフレームワークを使用して、明らかにされていない領域と未公開領域の両方を共同で修正している。 実験により,COPAINTは,客観的,主観的両方の指標の下で,既存の拡散法よりも優れていることを確認した。
• 参考スコア（独自算出の注目度）: 43.83732051916894
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image inpainting refers to the task of generating a complete, natural image based on a partially revealed reference image. Recently, many research interests have been focused on addressing this problem using fixed diffusion models. These approaches typically directly replace the revealed region of the intermediate or final generated images with that of the reference image or its variants. However, since the unrevealed regions are not directly modified to match the context, it results in incoherence between revealed and unrevealed regions. To address the incoherence problem, a small number of methods introduce a rigorous Bayesian framework, but they tend to introduce mismatches between the generated and the reference images due to the approximation errors in computing the posterior distributions. In this paper, we propose COPAINT, which can coherently inpaint the whole image without introducing mismatches. COPAINT also uses the Bayesian framework to jointly modify both revealed and unrevealed regions, but approximates the posterior distribution in a way that allows the errors to gradually drop to zero throughout the denoising steps, thus strongly penalizing any mismatches with the reference image. Our experiments verify that COPAINT can outperform the existing diffusion-based methods under both objective and subjective metrics. The codes are available at https://github.com/UCSB-NLP-Chang/CoPaint/.
• Abstract（参考訳）: イメージ・インペインティング(image inpainting)は、部分的に露呈した参照画像に基づいて、完全な自然画像を生成するタスクである。 近年,固定拡散モデルを用いてこの問題に取り組む研究が盛んに行われている。 これらのアプローチは典型的には、中間または最終生成画像の明らかな領域を直接参照画像またはその変種に置き換える。 しかし、未発見領域は文脈に合わせて直接修正されないため、明らかな領域と未発見領域の非一貫性が生じる。 不整合問題に対処するために、少数の手法では厳密なベイズフレームワークを導入するが、後続分布を計算する際の近似誤差により生成した画像と参照画像とのミスマッチが生じる傾向がある。 本稿では,ミスマッチを発生させることなく画像全体をコヒーレントに彩色できるコパインを提案する。 また、copaintはベイズフレームワークを使用して、露見領域と未開領域の両方を共同で修正するが、後方分布を近似し、誤差がノイズの段階を通じて徐々にゼロになるようにすることで、参照画像とのミスマッチを強烈にペナルティ化する。 実験により,COPAINTは,客観的,主観的両方の指標の下で既存の拡散法よりも優れていることを確認した。 コードはhttps://github.com/UCSB-NLP-Chang/CoPaint/で公開されている。

関連論文リスト

• Learning to Rank Patches for Unbiased Image Redundancy Reduction [80.93989115541966]
  画像は、隣接する領域の画素が空間的に相関しているため、空間的冗長性に悩まされる。 既存のアプローチでは、意味の少ない画像領域を減らし、この制限を克服しようとしている。 本稿では,Learning to Rank Patchesと呼ばれる画像冗長性低減のための自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-31T13:12:41Z)
• RecDiffusion: Rectangling for Image Stitching with Diffusion Models [53.824503710254206]
  画像縫合整形のための新しい拡散学習フレームワーク textbfRecDiffusion を提案する。 このフレームワークは運動拡散モデル(MDM)を組み合わせて運動場を生成し、縫合された画像の不規則な境界から幾何学的に修正された中間体へ効果的に遷移する。
  論文  参考訳（メタデータ） (2024-03-28T06:22:45Z)
• DARC: Distribution-Aware Re-Coloring Model for Generalizable Nucleus Segmentation [68.43628183890007]
  ドメインギャップは、異なるフォアグラウンド(核)-バックグラウンド比によっても引き起こされる可能性があると我々は主張する。 まず、異なる領域間の劇的な画像色変化を緩和する再カラー化手法を提案する。 次に,前景-背景比の変動に頑健な新しいインスタンス正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-09-01T01:01:13Z)
• Sequential edge detection using joint hierarchical Bayesian learning [5.182970026171219]
  本稿では,雑音およびアンダーサンプリングされたフーリエデータからエッジマップの時間列を協調的に復元する新しいスパースベイズ学習(SBL)アルゴリズムを提案する。 我々の数値的な例は、我々の新しい手法がより標準的なSBL手法と好適に比較できることを示している。
  論文  参考訳（メタデータ） (2023-02-28T02:09:44Z)
• MIDMs: Matching Interleaved Diffusion Models for Exemplar-based Image Translation [29.03892463588357]
  マッチング型インターリーブド拡散モデル (MIDM) と呼ばれる, 画像翻訳のための新しい手法を提案する。 拡散に基づくマッチング・アンド・ジェネレーション・フレームワークを定式化し、ドメイン間マッチングと拡散ステップを潜時空間でインターリーブする。 拡散過程の信頼性を向上させるため,サイクル整合性を用いた信頼度対応プロセスの設計を行い,信頼度の高い領域のみを考える。
  論文  参考訳（メタデータ） (2022-09-22T14:43:52Z)
• Region-aware Attention for Image Inpainting [33.22497212024083]
  本稿では,画像の描画のための新しい領域認識アテンション (RA) モジュールを提案する。 単一サンプルにおける各画素対間の相関を直接計算することを避けることにより、ホール内の無効情報の誤認を回避することができる。 学習可能な領域辞書(LRD)を導入し、データセット全体に重要な情報を格納する。 我々の手法は、現実的な詳細で意味論的に妥当な結果を生成することができる。
  論文  参考訳（メタデータ） (2022-04-03T06:26:22Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。