論文の概要: Aligned Stable Inpainting: Mitigating Unwanted Object Insertion and Preserving Color Consistency
- arxiv url: http://arxiv.org/abs/2601.15368v2
- Date: Wed, 25 Feb 2026 16:19:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-12 22:55:10.853445
- Title: Aligned Stable Inpainting: Mitigating Unwanted Object Insertion and Preserving Color Consistency
- Title(参考訳): アライメントされた安定な塗装:不要な物体の挿入を緩和し、色一貫性を保つ
- Authors: Yikai Wang, Junqiu Yu, Chenjie Cao, Xiangyang Xue, Yanwei Fu,
- Abstract要約: 我々は,UnKnown Areas prior (ASUKA) を用いたアラインド安定塗装の枠組みを紹介する。
不要なオブジェクト挿入を減らすために、生成モデルを誘導するために、再構成に基づく原則付きプリエントを用いる。
色の不整合に対処するため,ローカルタスクとして遅延画像デコーディングを定式化する専用VAEデコーダを設計する。
- 参考スコア(独自算出の注目度): 65.75215546331243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative image inpainting can produce realistic, high-fidelity results even with large, irregular masks. However, existing methods still face key issues that make inpainted images look unnatural. In this paper, we identify two main problems: (1) Unwanted object insertion: generative models may hallucinate arbitrary objects in the masked region that do not match the surrounding context. (2) Color inconsistency: inpainted regions often exhibit noticeable color shifts, leading to smeared textures and degraded image quality. We analyze the underlying causes of these issues and propose efficient post-hoc solutions for pre-trained inpainting models. Specifically, we introduce the principled framework of Aligned Stable inpainting with UnKnown Areas prior (ASUKA). To reduce unwanted object insertion, we use reconstruction-based priors to guide the generative model, suppressing hallucinated objects while preserving generative flexibility. To address color inconsistency, we design a specialized VAE decoder that formulates latent-to-image decoding as a local harmonization task. This design significantly reduces color shifts and produces more color-consistent results. We implement ASUKA on two representative inpainting architectures: a U-Net-based model and a DiT-based model. We analyze and propose lightweight injection strategies that minimize interference with the model's original generation capacity while ensuring the mitigation of the two issues. We evaluate ASUKA using the Places2 dataset and MISATO, our proposed diverse benchmark. Experiments show that ASUKA effectively suppresses object hallucination and improves color consistency, outperforming standard diffusion, rectified flow models, and other inpainting methods. Dataset, models and codes will be released in github.
- Abstract(参考訳): 生成画像の塗装は、大きくて不規則なマスクであっても、現実的で高忠実な結果をもたらす。
しかし、既存の手法は、インペイントされた画像が不自然に見えるという重要な問題に直面している。
本稿では,(1)不要なオブジェクト挿入:生成モデルは周囲の状況に合わないマスキング領域の任意のオブジェクトを幻覚させる。
2) 彩色不整合: 彩色した地域では, 彩色が顕著に変化し, 彩色感や画質が低下する傾向がみられた。
これらの問題の根本原因を解析し、事前学習した塗装モデルに対する効率的なポストホック解を提案する。
具体的には,UnKnown Areas prior (ASUKA) を用いたアラインド安定塗装の原理的枠組みを紹介する。
不要なオブジェクト挿入を減らすため,生成モデルの導出に再構成を併用し,生成の柔軟性を保ちながら幻覚的オブジェクトの抑制を行う。
色の不整合に対処するため,局所調和タスクとして潜在画像復号を定式化する専用VAEデコーダを設計する。
この設計は色の変化を著しく低減し、色に一貫性のある結果を生み出す。
我々は,U-NetベースモデルとDiTベースモデルという2つの代表的なインペイントアーキテクチャ上にASUKAを実装した。
我々は,2つの問題の緩和を確保しつつ,モデルが生成したキャパシティへの干渉を最小限に抑える軽量なインジェクション戦略を解析・提案する。
提案した多様なベンチマークであるPlaces2データセットとMISATOを用いてASUKAを評価した。
実験により, ASUKAは物体の幻覚を効果的に抑制し, 色調を改善し, 標準拡散, 整流モデル, その他の塗装法を向上することが示された。
データセット、モデル、コードはgithub.comでリリースされる。
関連論文リスト
- DACoN: DINO for Anime Paint Bucket Colorization with Any Number of Reference Images [0.0]
DACoNは、基礎モデルを利用して、ライン描画でも部分レベルのセマンティクスをキャプチャするフレームワークである。
提案手法は,CNNから高分解能な空間的特徴を持つ基礎モデルから低分解能な意味的特徴を融合して,きめ細かな特徴抽出を行う。
論文 参考訳(メタデータ) (2025-09-18T07:24:52Z) - OmniPaint: Mastering Object-Oriented Editing via Disentangled Insertion-Removal Inpainting [54.525583840585305]
我々はオブジェクトの削除と挿入を相互依存プロセスとして再概念化する統合フレームワークであるOmniPaintを紹介した。
我々の新しいCFDメトリクスは、コンテキスト整合性とオブジェクト幻覚の堅牢で参照不要な評価を提供する。
論文 参考訳(メタデータ) (2025-03-11T17:55:27Z) - Improving Text-guided Object Inpainting with Semantic Pre-inpainting [95.17396565347936]
我々は,典型的な単一ステージオブジェクトを2つのカスケードプロセス – セマンティックプリペイントと高磁場オブジェクト生成 – に分解する。
これを実現するために,トランスフォーマーをベースとしたセマンティックインパインとオブジェクトインパインティング拡散モデルをカスケードし,新しいCAscaded Transformer-Diffusionフレームワークを実現する。
論文 参考訳(メタデータ) (2024-09-12T17:55:37Z) - Towards Enhanced Image Inpainting: Mitigating Unwanted Object Insertion and Preserving Color Consistency [78.0488707697235]
ASUKA(Aigned Stable Inpainting with UnKnown Areas)と呼ばれるポストプロセッシングアプローチは、インパインティングモデルを改善する。
Masked Auto-Encoder (MAE) は、オブジェクト幻覚を緩和する。
ローカルタスクとしてラテント・ツー・イメージ・デコーディングを扱う特殊なVAEデコーダ。
論文 参考訳(メタデータ) (2023-12-08T05:08:06Z) - Perceptual Artifacts Localization for Inpainting [60.5659086595901]
そこで本研究では,知覚的アーティファクトの自動セグメンテーションの学習タスクを提案する。
データセット上で高度なセグメンテーションネットワークをトレーニングし、インペイントされた画像内のインペイントされたアーティファクトを確実にローカライズする。
また, 対象領域と対象領域全体との比率である知覚人工物比 (PAR) という新しい評価指標を提案する。
論文 参考訳(メタデータ) (2022-08-05T18:50:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。