論文の概要: VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference

• arxiv url: http://arxiv.org/abs/2411.18929v1
• Date: Thu, 28 Nov 2024 05:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:23:01.444532
• Title: VIPaint: Image Inpainting with Pre-Trained Diffusion Models via Variational Inference
• Title（参考訳）: VIPaint: 変分推論による事前学習拡散モデルによる画像インペインティング
• Authors: Sakshi Agarwal, Gabe Hoope, Erik B. Sudderth,
• Abstract要約: 我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。 我々のVIPaint法は,提案手法の妥当性と多様性の両方において,従来の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.852077003870417
• License:
• Abstract: Diffusion probabilistic models learn to remove noise that is artificially added to the data during training. Novel data, like images, may then be generated from Gaussian noise through a sequence of denoising operations. While this Markov process implicitly defines a joint distribution over noise-free data, it is not simple to condition the generative process on masked or partial images. A number of heuristic sampling procedures have been proposed for solving inverse problems with diffusion priors, but these approaches do not directly approximate the true conditional distribution imposed by inference queries, and are often ineffective for large masked regions. Moreover, many of these baselines cannot be applied to latent diffusion models which use image encodings for efficiency. We instead develop a hierarchical variational inference algorithm that analytically marginalizes missing features, and uses a rigorous variational bound to optimize a non-Gaussian Markov approximation of the true diffusion posterior. Through extensive experiments with both pixel-based and latent diffusion models of images, we show that our VIPaint method significantly outperforms previous approaches in both the plausibility and diversity of imputations, and is easily generalized to other inverse problems like deblurring and superresolution.
• Abstract（参考訳）: 拡散確率モデルは、トレーニング中にデータに人工的に付加されるノイズを取り除くことを学ぶ。 画像のような新しいデータは、一連の復調操作を通じてガウスノイズから生成される。 このマルコフ過程は、暗黙的にノイズのないデータ上の結合分布を定義するが、マスクや部分的な画像に生成過程を条件付けるのは簡単ではない。 拡散前の逆問題を解くためのヒューリスティックサンプリング手順がいくつか提案されているが、これらの手法は推論クエリによって課される真の条件分布を直接近似するものではなく、大きなマスキング領域では有効ではないことが多い。 さらに、これらのベースラインの多くは、画像符号化を効率よく利用する潜在拡散モデルには適用できない。 そこで我々は,非ガウス的マルコフ近似の真の拡散アフター近似を最適化するために,厳密な変分境界を用いた階層的変分推論アルゴリズムを開発した。 画像の画素ベース拡散モデルと潜時拡散モデルの両方による広範な実験により、我々のVIPaint法は、インプットの妥当性と多様性の両方において従来の手法よりも大幅に優れており、デブロアリングやスーパーレゾリューションといった他の逆問題に容易に一般化できることを示した。

関連論文リスト

• Diffusion Priors for Variational Likelihood Estimation and Image Denoising [10.548018200066858]
  本稿では,現実の雑音に対処するために,逆拡散過程における適応的確率推定とMAP推定を提案する。 実世界の多様なデータセットの実験と分析により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-10-23T02:52:53Z)
• G2D2: Gradient-guided Discrete Diffusion for image inverse problem solving [55.185588994883226]
  本稿では,従来の離散拡散に基づく画像生成モデルを活用することによって,線形逆問題に対処する新しい手法を提案する。 我々の知る限りでは、これは画像逆問題を解決するために離散拡散モデルに基づく先行手法を使う最初のアプローチである。
  論文  参考訳（メタデータ） (2024-10-09T06:18:25Z)
• Gaussian is All You Need: A Unified Framework for Solving Inverse Problems via Diffusion Posterior Sampling [16.683393726483978]
  拡散モデルは、複雑なデータ分布をモデル化することによって、様々な高品質な画像を生成することができる。 既存の拡散法の多くは拡散逆サンプリングプロセスにデータ一貫性ステップを統合する。 既存の近似は不十分か計算的に非効率であることを示す。
  論文  参考訳（メタデータ） (2024-09-13T15:20:03Z)
• Provably Robust Score-Based Diffusion Posterior Sampling for Plug-and-Play Image Reconstruction [31.503662384666274]
  科学と工学において、ゴールは、ある画像のモダリティを記述する既知のフォワードモデルから収集された少数の測定値から未知の画像を推測することである。 モチベートされたスコアベース拡散モデルはその経験的成功により、画像再構成に先立って模範の印象的な候補として現れた。
  論文  参考訳（メタデータ） (2024-03-25T15:58:26Z)
• Denoising Diffusion Bridge Models [54.87947768074036]
  拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。 画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。 本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T03:24:24Z)
• Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
  Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。 我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。 我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
  論文  参考訳（メタデータ） (2023-09-18T09:36:24Z)
• A Variational Perspective on Solving Inverse Problems with Diffusion Models [101.831766524264]
  逆タスクは、データ上の後続分布を推測するものとして定式化することができる。 しかし、拡散過程の非線形的かつ反復的な性質が後部を引き付けるため、拡散モデルではこれは困難である。 そこで我々は,真の後続分布を近似する設計手法を提案する。
  論文  参考訳（メタデータ） (2023-05-07T23:00:47Z)
• Representing Noisy Image Without Denoising [91.73819173191076]
  ラドン空間におけるフラクショナルオーダーモーメント(FMR)は、ノイズの多い画像から直接ロバストな表現を引き出すように設計されている。 従来の整数順序法とは異なり、我々の研究は特別な場合のような古典的手法を取り入れたより汎用的な設計である。
  論文  参考訳（メタデータ） (2023-01-18T10:13:29Z)
• Deblurring via Stochastic Refinement [85.42730934561101]
  条件付き拡散モデルに基づくブラインドデブロアリングのための代替フレームワークを提案する。 提案手法は,PSNRなどの歪み指標の点で競合する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:09Z)
• Solving Linear Inverse Problems Using the Prior Implicit in a Denoiser [7.7288480250888]
  我々は、ディープニューラルネットワークにおける暗黙の事前利用のための堅牢で一般的な手法を開発した。 ブラインド(ノイズレベルが未知の)を訓練したCNNが提示される。 このアルゴリズムの制約サンプリングへの一般化は、任意の線形逆問題を解決するために暗黙の手法を提供する。
  論文  参考訳（メタデータ） (2020-07-27T15:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。