論文の概要: Gradpaint: Gradient-Guided Inpainting with Diffusion Models

• arxiv url: http://arxiv.org/abs/2309.09614v1
• Date: Mon, 18 Sep 2023 09:36:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-19 14:09:25.088246
• Title: Gradpaint: Gradient-Guided Inpainting with Diffusion Models
• Title（参考訳）: Gradpaint: 拡散モデルによるグラディエントガイド塗装
• Authors: Asya Grechka, Guillaume Couairon, Matthieu Cord
• Abstract要約: Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
• 参考スコア（独自算出の注目度）: 71.47496445507862
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Denoising Diffusion Probabilistic Models (DDPMs) have recently achieved remarkable results in conditional and unconditional image generation. The pre-trained models can be adapted without further training to different downstream tasks, by guiding their iterative denoising process at inference time to satisfy additional constraints. For the specific task of image inpainting, the current guiding mechanism relies on copying-and-pasting the known regions from the input image at each denoising step. However, diffusion models are strongly conditioned by the initial random noise, and therefore struggle to harmonize predictions inside the inpainting mask with the real parts of the input image, often producing results with unnatural artifacts. Our method, dubbed GradPaint, steers the generation towards a globally coherent image. At each step in the denoising process, we leverage the model's "denoised image estimation" by calculating a custom loss measuring its coherence with the masked input image. Our guiding mechanism uses the gradient obtained from backpropagating this loss through the diffusion model itself. GradPaint generalizes well to diffusion models trained on various datasets, improving upon current state-of-the-art supervised and unsupervised methods.
• Abstract（参考訳）: Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 事前訓練されたモデルは、追加の制約を満たすために推論時に反復的なデノベーションプロセスを導くことで、異なる下流タスクにさらなるトレーニングを加えることなく適応することができる。 イメージインパインティングの特定のタスクでは、現在のガイド機構は、各デノベーションステップにおいて、入力画像から既知の領域をコピー&ペーストする。 しかし、拡散モデルは初期ランダムノイズによって強く条件付けされているため、塗装マスク内の予測と入力画像の実際の部分との調和に苦慮し、しばしば不自然な成果物による結果を生み出す。 我々の手法はGradPaintと呼ばれ、世界的コヒーレントなイメージに向けて世代を操る。 各ステップにおいて,マスク入力画像とのコヒーレンスを測定するカスタム損失を計算し,モデルの「デノライズ画像推定」を活用する。 誘導機構は拡散モデル自体を通じてこの損失をバックプロパゲーションして得られる勾配を用いる。 gradpaintは、さまざまなデータセットでトレーニングされた拡散モデルにうまく一般化し、現在の教師なしおよび教師なしの方法を改善している。

関連論文リスト

• PartDiff: Image Super-resolution with Partial Diffusion Models [3.8435187580887717]
  拡散確率モデル(DDPM)は,様々な画像生成タスクにおいて顕著な性能を達成している。 DDPMは、ランダムノイズから反復的にデノイングすることで、新しいデータを生成する。 しかし、拡散に基づく生成モデルは、多くのデノナイジングステップのために高い計算コストに悩まされる。 本稿では,部分拡散モデル (PartDiff) を提案する。
  論文  参考訳（メタデータ） (2023-07-21T22:11:23Z)
• Stimulating the Diffusion Model for Image Denoising via Adaptive Embedding and Ensembling [51.346676741280774]
  DMID(Diffusion Model for Image Denoising)と呼ばれる新しい手法を提案する。 本手法は, 雑音像を事前学習した拡散モデルに埋め込む適応埋め込み法と, 雑音像の歪みを低減する適応組込み法とを含む。 我々のDMID戦略は、ガウス的および実世界のイメージデノーミングにおいて、あらゆる歪みに基づく知覚的メトリクスに対する最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-07-08T14:59:41Z)
• SVNR: Spatially-variant Noise Removal with Denoising Diffusion [43.2405873681083]
  本稿では,より現実的で空間的変動のある雑音モデルを想定した,微分拡散の新たな定式化について述べる。 実験では,強い拡散モデルベースラインに対するアプローチの利点と,最先端の単一画像復号法に対するアプローチの利点を実証する。
  論文  参考訳（メタデータ） (2023-06-28T09:32:00Z)
• Real-World Denoising via Diffusion Model [14.722529440511446]
  実世界のイメージデノイングは、自然の環境で撮影されたノイズの多い画像からクリーンなイメージを復元することを目的としている。 拡散モデルは画像生成の分野で非常に有望な結果を得た。 本稿では,実世界の画像のデノナイズに使用可能な,新しい一般デノナイズ拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-08T04:48:03Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [107.3258318036288]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
  本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。 提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。 提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
  論文  参考訳（メタデータ） (2023-03-23T09:33:44Z)
• ShiftDDPMs: Exploring Conditional Diffusion Models by Shifting Diffusion Trajectories [144.03939123870416]
  本稿では,前処理に条件を導入することで,新しい条件拡散モデルを提案する。 いくつかのシフト規則に基づいて各条件に対して排他的拡散軌跡を割り当てるために、余剰潜在空間を用いる。 我々は textbfShiftDDPMs と呼ぶメソッドを定式化し、既存のメソッドの統一的な視点を提供する。
  論文  参考訳（メタデータ） (2023-02-05T12:48:21Z)
• Multiscale Structure Guided Diffusion for Image Deblurring [14.463214400904306]
  拡散確率モデル (DPM) は画像の劣化に用いられている。 暗黙のバイアスとして、単純だが効果的なマルチスケール構造ガイダンスを導入する。 目に見えないデータのアーティファクトが少ないほど、より堅牢なデブロアリング結果を示します。
  論文  参考訳（メタデータ） (2022-12-04T10:40:35Z)
• Markup-to-Image Diffusion Models with Scheduled Sampling [111.30188533324954]
  画像生成の最近の進歩に基づき,画像にマークアップを描画するためのデータ駆動型アプローチを提案する。 このアプローチは拡散モデルに基づいており、デノナイジング操作のシーケンスを用いてデータの分布をパラメータ化する。 数式(La)、テーブルレイアウト(HTML)、シート音楽(LilyPond)、分子画像(SMILES)の4つのマークアップデータセットの実験を行った。
  論文  参考訳（メタデータ） (2022-10-11T04:56:12Z)
• Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models [8.122270502556374]
  本稿では,拡散確率モデルに基づく新しいパッチベースの画像復元アルゴリズムを提案する。 我々は,気象特性とマルチウェザー画像復元の両面において,最先端の性能を実現するためのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-07-29T11:52:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。