論文の概要: TD-Paint: Faster Diffusion Inpainting Through Time Aware Pixel Conditioning
- arxiv url: http://arxiv.org/abs/2410.09306v1
- Date: Fri, 11 Oct 2024 23:46:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:09:29.806544
- Title: TD-Paint: Faster Diffusion Inpainting Through Time Aware Pixel Conditioning
- Title(参考訳): TD-Paint: タイムアウェアのピクセルコンディショニングによる拡散の高速化
- Authors: Tsiry Mayet, Pourya Shamsolmoali, Simon Bernard, Eric Granger, Romain Hérault, Clement Chatelain,
- Abstract要約: Time-Aware Diffusion Paint (TD-Paint) は、画素レベルでの可変ノイズレベルをモデル化することによって拡散プロセスに適応する新しいアプローチである。
専用のアーキテクチャや高価な生成ループを必要とする従来の拡散ベースの塗装モデルとは異なり、TD-Paintはアーキテクチャの変更なしにより高速なサンプリング時間を実現する。
- 参考スコア(独自算出の注目度): 8.291380592932333
- License:
- Abstract: Diffusion models have emerged as highly effective techniques for inpainting, however, they remain constrained by slow sampling rates. While recent advances have enhanced generation quality, they have also increased sampling time, thereby limiting scalability in real-world applications. We investigate the generative sampling process of diffusion-based inpainting models and observe that these models make minimal use of the input condition during the initial sampling steps. As a result, the sampling trajectory deviates from the data manifold, requiring complex synchronization mechanisms to realign the generation process. To address this, we propose Time-aware Diffusion Paint (TD-Paint), a novel approach that adapts the diffusion process by modeling variable noise levels at the pixel level. This technique allows the model to efficiently use known pixel values from the start, guiding the generation process toward the target manifold. By embedding this information early in the diffusion process, TD-Paint significantly accelerates sampling without compromising image quality. Unlike conventional diffusion-based inpainting models, which require a dedicated architecture or an expensive generation loop, TD-Paint achieves faster sampling times without architectural modifications. Experimental results across three datasets show that TD-Paint outperforms state-of-the-art diffusion models while maintaining lower complexity.
- Abstract(参考訳): 拡散モデルは、塗布の非常に効果的な手法として現れてきたが、サンプリング速度の遅いことによる制約が残っている。
最近の進歩で生成品質が向上したが、サンプリング時間も増加し、現実世界のアプリケーションのスケーラビリティが制限された。
拡散型塗布モデルの生成サンプリング過程について検討し, 初期サンプリング段階における入力条件の最小化について検討した。
その結果、サンプリング軌道はデータ多様体から逸脱し、生成プロセスを実現するために複雑な同期機構を必要とする。
そこで本研究では,時間認識拡散塗料(TD-Paint, Time-Aware Diffusion Paint, TD-Paint)を提案する。
この手法により、モデルが最初から既知のピクセル値を効率的に使用し、生成プロセスをターゲット多様体に導くことができる。
この情報を拡散過程に早期に埋め込むことで、TD-Paintは画像品質を損なうことなくサンプリングを著しく高速化する。
専用のアーキテクチャや高価な生成ループを必要とする従来の拡散ベースの塗装モデルとは異なり、TD-Paintはアーキテクチャの変更なしにより高速なサンプリング時間を実現する。
3つのデータセットにわたる実験結果から、TD-Paintは複雑さを低く保ちながら最先端の拡散モデルより優れていることが示された。
関連論文リスト
- Minutes to Seconds: Speeded-up DDPM-based Image Inpainting with Coarse-to-Fine Sampling [8.965432123669167]
本稿では,3つの高速化戦略を含むDDPM画像の効率的なインペイント手法を提案する。
まず,事前学習した軽量拡散モデル(LWDM)を用いてパラメータ数を削減する。
次に,Diffusion Implicit Models (DDIM) のスキップステップサンプリング方式を提案する。
論文 参考訳(メタデータ) (2024-07-08T12:33:54Z) - ReNoise: Real Image Inversion Through Iterative Noising [62.96073631599749]
本研究では,操作数を増やすことなく,高い品質と操作率の逆転法を導入し,再現精度を向上する。
我々は,近年の高速化拡散モデルを含む様々なサンプリングアルゴリズムとモデルを用いて,Renoise手法の性能を評価する。
論文 参考訳(メタデータ) (2024-03-21T17:52:08Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - Accelerating Parallel Sampling of Diffusion Models [25.347710690711562]
自己回帰過程を並列化することにより拡散モデルのサンプリングを高速化する新しい手法を提案する。
これらの手法を適用したParaTAAは、普遍的でトレーニング不要な並列サンプリングアルゴリズムである。
実験により、ParaTAAは一般的なシーケンシャルサンプリングアルゴリズムで要求される推論ステップを4$sim$14倍に削減できることを示した。
論文 参考訳(メタデータ) (2024-02-15T14:27:58Z) - Image Inpainting via Tractable Steering of Diffusion Models [54.13818673257381]
本稿では,トラクタブル確率モデル(TPM)の制約後部を正確に,かつ効率的に計算する能力を活用することを提案する。
具体的には、確率回路(PC)と呼ばれる表現型TPMのクラスを採用する。
提案手法は, 画像の全体的な品質とセマンティックコヒーレンスを, 計算オーバーヘッドを10%加えるだけで一貫的に改善できることを示す。
論文 参考訳(メタデータ) (2023-11-28T21:14:02Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳(メタデータ) (2023-09-30T02:03:22Z) - Gradpaint: Gradient-Guided Inpainting with Diffusion Models [71.47496445507862]
Denoising Diffusion Probabilistic Models (DDPM) は近年,条件付きおよび非条件付き画像生成において顕著な成果を上げている。
我々はGradPaintを紹介し、グローバルな一貫性のあるイメージに向けて世代を操る。
我々は、様々なデータセットで訓練された拡散モデルによく適応し、現在最先端の教師付きおよび教師なしの手法を改善している。
論文 参考訳(メタデータ) (2023-09-18T09:36:24Z) - DiffGANPaint: Fast Inpainting Using Denoising Diffusion GANs [19.690288425689328]
本稿では,不足画素を高速に充填できるDDPMモデルを提案する。
汎用画像インパインティングデータセットの実験は、我々のアプローチが現代のほとんどの作品に匹敵する、あるいは同等であることを示す。
論文 参考訳(メタデータ) (2023-08-03T17:50:41Z) - Nested Diffusion Processes for Anytime Image Generation [38.84966342097197]
そこで本研究では,任意の時間に任意の時間に停止した場合に,有効画像を生成することができるリアルタイム拡散法を提案する。
ImageNetとStable Diffusionを用いたテキスト・ツー・イメージ生成実験において,本手法の中間生成品質が元の拡散モデルよりも大幅に高いことを示す。
論文 参考訳(メタデータ) (2023-05-30T14:28:43Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。