論文の概要: Towards Context-Stable and Visual-Consistent Image Inpainting
- arxiv url: http://arxiv.org/abs/2312.04831v2
- Date: Sun, 17 Mar 2024 06:44:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-20 02:42:50.107976
- Title: Towards Context-Stable and Visual-Consistent Image Inpainting
- Title(参考訳): コンテクスト・スタブルとビジュアル・コンシステント・イメージ・インペインティングを目指して
- Authors: Yikai Wang, Chenjie Cao, Ke Fan Xiangyang Xue Yanwei Fu,
- Abstract要約: 未知領域(ASUKA)を先行したアライメント安定塗布
ASUKAは、SD(Stable Diffusion Inpainting Model)と相まって、コンテキスト安定性を著しく改善する。
ASUKAは彩色専用デコーダを採用しており、SDの色の不整合を著しく低減し、より視覚的に整合性を確保している。
- 参考スコア(独自算出の注目度): 11.2378350939602
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in inpainting increasingly relies on generative models, leveraging their strong generation capabilities for addressing large irregular masks. However, this enhanced generation often introduces context-instability, leading to arbitrary object generation within masked regions. This paper proposes a balanced solution, emphasizing the importance of unmasked regions in guiding inpainting while preserving generation capacity. Our approach, Aligned Stable Inpainting with UnKnown Areas Prior (ASUKA), employs a Masked Auto-Encoder (MAE) to produce reconstruction-based prior. Aligned with the powerful Stable Diffusion inpainting model (SD), ASUKA significantly improves context stability. ASUKA further adopts an inpainting-specialized decoder, highly reducing the color inconsistency issue of SD and thus ensuring more visual-consistent inpainting. We validate effectiveness of inpainting algorithms on benchmark dataset Places 2 and a collection of several existing datasets, dubbed MISATO, across diverse domains and masking scenarios. Results on these benchmark datasets confirm ASUKA's efficacy in both context-stability and visual-consistency compared to SD and other inpainting algorithms.
- Abstract(参考訳): 塗装の最近の進歩は、大きな不規則マスクに対処する強力な生成能力を活用して、生成モデルにますます依存している。
しかし、この拡張された生成は、しばしばコンテキスト不安定をもたらし、マスクされた領域内で任意のオブジェクト生成をもたらす。
本稿では, 創出能力を維持しつつ, ペンキを塗布する際の未成熟領域の重要性を強調し, バランスの取れた解を提案する。
ASUKA(Aigned Staable Inpainting with UnKnown Areas Prior)では,Masked Auto-Encoder (MAE) を用いて,事前の再構築を行う。
ASUKAは、SD(Stable Diffusion Inpainting Model)と相まって、コンテキスト安定性を著しく改善する。
ASUKAはさらに、彩色専用デコーダを採用し、SDの色の不整合を著しく低減し、より視覚的に整合性を確保する。
ベンチマークデータセットPlaces 2と、MISATOと呼ばれる、さまざまなドメインやマスキングシナリオにまたがる既存のデータセットのコレクションに対して、インペイントアルゴリズムの有効性を検証する。
これらのベンチマークデータセットの結果は、SDや他の塗装アルゴリズムと比較して、コンテキスト安定性と視覚一貫性の両方においてASUKAの有効性を確認している。
関連論文リスト
- BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed
Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。
BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-03-11T17:59:31Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。
我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。
提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文 参考訳(メタデータ) (2022-12-06T14:32:55Z) - MixMask: Revisiting Masking Strategy for Siamese ConvNets [24.20212182301359]
画像中のランダムに消去された領域によって引き起こされる情報の不完全性を防止するために,MixMaskと呼ばれる補充型マスキング手法を提案する。
提案手法は, 線形探索, 半教師付き, 教師付き微調整において, 精度が向上し, 最先端のMSCNよりも有意な差が認められた。
論文 参考訳(メタデータ) (2022-10-20T17:54:03Z) - Wavelet Prior Attention Learning in Axial Inpainting Network [35.06912946192495]
Axial Inpainting Network (WAIN) におけるウェーブレット事前注意学習モデルを提案する。
WPAは、マルチスケールの周波数領域における高レベルの特徴集約をガイドし、テキストアーティファクトを緩和する。
積み重ねられたATは、水平軸と垂直軸の低レベルの特徴とともに、合理的な特徴をモデル化するのに役立つ。
論文 参考訳(メタデータ) (2022-06-07T08:45:27Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳(メタデータ) (2021-04-28T13:17:47Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z) - Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
アウトペイントには2つの課題があるため、あまり注意を払わない。
第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。
第2の課題は、生成した結果の高品質を維持する方法です。
論文 参考訳(メタデータ) (2019-12-29T16:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。