論文の概要: Amortized Guidance for Image Inpainting with Pretrained Diffusion Models
- arxiv url: http://arxiv.org/abs/2605.13010v1
- Date: Wed, 13 May 2026 05:02:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 23:30:27.821306
- Title: Amortized Guidance for Image Inpainting with Pretrained Diffusion Models
- Title(参考訳): 予め訓練した拡散モデルによる画像塗布の補正誘導
- Authors: Yilie Huang, Xun Yu Zhou,
- Abstract要約: 生成拡散モデルを用いた画像インパインティングについて検討した。
拡散処理によるアモルタイズインペインティング(Amortized Inpainting with Diffusion)と呼ばれる中層モデルを導入する。
AIDは、トレーニング済みの拡散バックボーンを固定し、小さな再利用可能なガイダンスモジュールをオフラインでトレーニングし、インスタンスごとの最適化なしにマスクされたイメージ間で再利用する。
- 参考スコア(独自算出の注目度): 3.9819516108444115
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study image inpainting with generative diffusion models. Existing methods typically either train dedicated task-specific models, or adapt a pretrained diffusion model separately for each masked image at deployment. We introduce a middle-ground model, termed Amortized Inpainting with Diffusion (AID), which keeps a pretrained diffusion backbone fixed, trains a small reusable guidance module offline, and then reuses it across masked images without per-instance optimization. We formulate it as a deterministic guidance problem with a supervised terminal objective. To make this problem learnable in high dimensions, we derive an auxiliary Gaussian formulation and prove that solving this randomized problem recovers the optimal deterministic guidance field. This bridge yields a principled continuous-time actor--critic algorithm for learning the guidance module in a fully data-driven manner. Empirically, on AFHQv2 and FFHQ under the pixel EDM pipeline and on ImageNet under the latent EDM2 pipeline, AID consistently improves the quality--speed trade-off over strong fixed-backbone and amortized inpainting baselines across multiple mask types, while adding less than one percent trainable overhead.
- Abstract(参考訳): 生成拡散モデルを用いた画像インパインティングについて検討した。
既存の方法は、通常、専用のタスク固有のモデルをトレーニングするか、デプロイ時に各マスクされたイメージに対して個別に事前訓練された拡散モデルを適用するかのいずれかである。
AID(Amortized Inpainting with Diffusion)と呼ばれる,事前トレーニングした拡散バックボーンを固定し,小さな再利用可能なガイダンスモジュールをオフラインでトレーニングし,また,マスク付き画像に対して,インスタンスごとの最適化を行なわずに再利用するミドルグラウンドモデルを導入する。
我々はこれを、教師付き端末目的による決定論的ガイダンス問題として定式化する。
この問題を高次元で学習できるようにするため、補助的なガウス式を導出し、このランダム化問題の解法が最適決定性誘導場を回復することを証明する。
このブリッジは、完全にデータ駆動の方法でガイダンスモジュールを学習するための、原則化された連続時間アクター-批判的アルゴリズムを提供する。
実証的には、ピクセルEDMパイプライン下のAFHQv2とFFHQ、潜伏EDM2パイプライン下のImageNetでは、AIDは、強い固定バックボーンに対する品質-高速トレードオフを一貫して改善し、複数のマスクタイプにわたるベースラインを修復し、トレーニング可能なオーバーヘッドを1%未満増やしている。
関連論文リスト
- Diffusion Models for Solving Inverse Problems via Posterior Sampling with Piecewise Guidance [52.705112811734566]
断片的なガイダンススキームを用いて,逆問題を解決するための新しい拡散型フレームワークが導入された。
提案手法は問題に依存しず,様々な逆問題に容易に適応できる。
このフレームワークは, (4時間), (8時間) の超分解能タスクに対して, (23%), (24%) および (24%) の無作為マスクを塗布する場合の (25%) の推論時間を短縮する。
論文 参考訳(メタデータ) (2025-07-22T19:35:14Z) - LeDiFlow: Learned Distribution-guided Flow Matching to Accelerate Image Generation [1.1847464266302488]
Flow Matching(FM)は、DMで使用されるスコアベースではなく、シミュレーションなしのトレーニング目標に基づく強力な生成モデリングパラダイムである。
本稿では,FMベースの画像生成モデルを学習するための新しいスケーラブルな手法であるLearted Distribution-guided Flow Matching(LeDiFlow)を提案する。
提案手法では,ステートオフ・ザ・アルト (SOTA) トランスフォーマーアーキテクチャと遅延空間サンプリングを併用し,コンシューマー向けワークステーションでトレーニングを行う。
論文 参考訳(メタデータ) (2025-05-27T05:07:37Z) - Steering Rectified Flow Models in the Vector Field for Controlled Image Generation [53.965218831845995]
拡散モデル(DM)は、フォトリアリズム、画像編集、逆問題解決に優れ、分類器なしのガイダンスと画像反転技術によって支援される。
既存のDMベースの手法は、しばしば追加のトレーニングを必要とし、事前訓練された潜在モデルへの一般化が欠如し、ODEソルバと反転プロセスによる広範なバックプロパゲーションにより、計算資源が要求される。
本研究では,ベクトル場を利用した画像生成タスクのデノイング軌道の制御を行うFlowChefを提案する。
FlowChefは、パフォーマンス、メモリ、時間要件の点でベースラインを大幅に上回り、新しい状態を達成する。
論文 参考訳(メタデータ) (2024-11-27T19:04:40Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。