論文の概要: RePaint: Inpainting using Denoising Diffusion Probabilistic Models

• arxiv url: http://arxiv.org/abs/2201.09865v1
• Date: Mon, 24 Jan 2022 18:40:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-25 16:17:36.144410
• Title: RePaint: Inpainting using Denoising Diffusion Probabilistic Models
• Title（参考訳）: repaint:分母拡散確率モデルを用いたインパインティング
• Authors: Andreas Lugmayr, Martin Danelljan, Andres Romero, Fisher Yu, Radu Timofte, Luc Van Gool
• Abstract要約: Free-form Inpaintingは任意のバイナリマスクで指定された領域のイメージに新しいコンテンツを追加するタスクである。 RePaint: A Denoising Probabilistic Model (DDPM) を用いた塗装手法を提案する。 本手法は,標準的なマスクと極端マスクを用いて,顔と汎用画像の塗装の両面で検証する。
• 参考スコア（独自算出の注目度）: 161.74792336127345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Free-form inpainting is the task of adding new content to an image in the regions specified by an arbitrary binary mask. Most existing approaches train for a certain distribution of masks, which limits their generalization capabilities to unseen mask types. Furthermore, training with pixel-wise and perceptual losses often leads to simple textural extensions towards the missing areas instead of semantically meaningful generation. In this work, we propose RePaint: A Denoising Diffusion Probabilistic Model (DDPM) based inpainting approach that is applicable to even extreme masks. We employ a pretrained unconditional DDPM as the generative prior. To condition the generation process, we only alter the reverse diffusion iterations by sampling the unmasked regions using the given image information. Since this technique does not modify or condition the original DDPM network itself, the model produces high-quality and diverse output images for any inpainting form. We validate our method for both faces and general-purpose image inpainting using standard and extreme masks. RePaint outperforms state-of-the-art Autoregressive, and GAN approaches for at least five out of six mask distributions. Github Repository: git.io/RePaint
• Abstract（参考訳）: Free-form Inpaintingは任意のバイナリマスクで指定された領域のイメージに新しいコンテンツを追加するタスクである。 既存のアプローチのほとんどは、マスクの特定の分布を訓練しており、マスクタイプに一般化する能力を制限する。 さらに、ピクセル単位でのトレーニングや知覚的損失は、意味的に意味のある生成ではなく、欠落する領域への単純なテキスト拡張につながることが多い。 本研究では, 極端マスクにも適用可能な拡散確率モデル (ddpm) に基づくインパインティング手法であるrepaintを提案する。 予備訓練した無条件DDPMを前駆体として使用した。 生成過程を条件づけるために,与えられた画像情報を用いて非マスク領域をサンプリングすることにより,逆拡散反復のみを変更する。 この手法はオリジナルのDDPMネットワーク自体を変更したり条件を定めなかったため、どの塗装形式に対しても高品質で多様な出力画像を生成する。 本手法は,標準的なマスクと極端マスクを用いて,顔と汎用画像の塗装の両面で検証する。 RePaintは最先端のAutoregressiveを上回り、GANは6つのマスク分布のうち少なくとも5つにアプローチする。 Githubリポジトリ: git.io/RePaint

関連論文リスト

• DiffGANPaint: Fast Inpainting Using Denoising Diffusion GANs [19.690288425689328]
  本稿では,不足画素を高速に充填できるDDPMモデルを提案する。 汎用画像インパインティングデータセットの実験は、我々のアプローチが現代のほとんどの作品に匹敵する、あるいは同等であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T17:50:41Z)
• DFormer: Diffusion-guided Transformer for Universal Image Segmentation [86.73405604947459]
  提案したDFormerは,拡散モデルを用いて画像分割タスクをデノナイズプロセスとみなしている。 我々のDFormerは、ランダムに生成されたマスクの集合から、マスクとそれに対応するカテゴリを直接予測します。 我々のDFormerは、最近の拡散型汎光学分割法Pix2Seq-Dより優れており、MS COCO val 2017セットで3.6%向上している。
  論文  参考訳（メタデータ） (2023-06-06T06:33:32Z)
• PaintSeg: Training-free Segmentation via Painting [50.17936803209125]
  PaintSegは、トレーニングなしでオブジェクトをセグメンテーションするための新しい教師なしのメソッドである。 前者は前景をマスキングして背景を埋め、後者は前景の欠落部分を回復しながら背景をマスキングする。 実験の結果、PaintSegは、粗いマスクプロンプト、ボックスプロンプト、ポイントプロンプトセグメンテーションタスクにおいて、既存のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-30T20:43:42Z)
• Towards Improved Input Masking for Convolutional Neural Networks [66.99060157800403]
  層マスキングと呼ぶCNNのための新しいマスキング手法を提案する。 本手法は,マスク形状や色がモデル出力に与える影響を排除あるいは最小化することができることを示す。 また,マスクの形状がクラスに関する情報を漏洩させる可能性を示し,クラス関連特徴に対するモデル依存度の推定に影響を及ぼすことを示した。
  論文  参考訳（メタデータ） (2022-11-26T19:31:49Z)
• Semantic-guided Multi-Mask Image Harmonization [10.27974860479791]
  セマンティック誘導型マルチマスク画像調和タスクを提案する。 本研究では,一連のオペレーターマスクを予測することにより,不調和な画像を編集する新しい方法を提案する。
  論文  参考訳（メタデータ） (2022-07-24T11:48:49Z)
• Shape-Aware Masking for Inpainting in Medical Imaging [49.61617087640379]
  インペイントは、教師なしの医用画像モデル発見のためのディープラーニング技術として成功している。 本稿では, 先行する統計的形状の学習を目的とした, 塗装用形状認識マスクの生成手法を提案する。 市販の塗装モデルとスーパーピクセルオーバーセグメンテーションアルゴリズムに基づく教師なしマスキング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-12T18:35:17Z)
• SketchEdit: Mask-Free Local Image Manipulation with Partial Sketches [95.45728042499836]
  マスクレス局所画像操作という,スケッチに基づく画像操作の新しいパラダイムを提案する。 本モデルでは,対象の修正領域を自動的に予測し,構造型ベクトルにエンコードする。 ジェネレータは、スタイルベクトルとスケッチに基づいて、新しいイメージコンテンツを合成する。
  論文  参考訳（メタデータ） (2021-11-30T02:42:31Z)
• Learning Sparse Masks for Diffusion-based Image Inpainting [10.633099921979674]
  拡散ベースの塗布はスパースデータから画像の再構成に強力なツールである。 我々は高効率な適応マスク生成モデルを提供する。 実験により,我々のモデルは最大4桁の加速度で競争品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-10-06T10:20:59Z)
• Iterative Facial Image Inpainting using Cyclic Reverse Generator [0.913755431537592]
  Cyclic Reverse Generator (CRG)アーキテクチャはエンコーダジェネレータモデルを提供する。 提案モデルを用いて実写画像を生成するには,数回の反復しか十分でないことを実証的に観察した。 本手法では,様々なマスクタイプを用いてスケッチベースのインペインティングを適用でき,多種多様な結果が得られる。
  論文  参考訳（メタデータ） (2021-01-18T12:19:58Z)
• R-MNet: A Perceptual Adversarial Network for Image Inpainting [5.471225956329675]
  本稿では,新たな逆マスク演算子であるReverse Masking Network(R-MNet)と組み合わせたWasserstein GANを提案する。 提案手法は,高分解能な塗装作業に一般化でき,人間の視覚系に適応可能なよりリアルな出力を示す。
  論文  参考訳（メタデータ） (2020-08-11T10:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。