論文の概要: Towards Stable and Faithful Inpainting
- arxiv url: http://arxiv.org/abs/2312.04831v1
- Date: Fri, 8 Dec 2023 05:08:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 16:09:37.180664
- Title: Towards Stable and Faithful Inpainting
- Title(参考訳): 安定かつ忠実な塗装に向けて
- Authors: Yikai Wang and Chenjie Cao and Yanwei Fu
- Abstract要約: 未知領域(ASUKA)を先行したアライメント安定塗布
安定拡散塗装モデル (SD) により, ASUKA は塗装安定性を著しく向上させる。
ASUKAはさらに、塗装された特定のデコーダを通じてマスクされた領域と未加工の領域を調整し、より忠実な塗布を確実にする。
- 参考スコア(独自算出の注目度): 62.86827123595943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent progress in inpainting increasingly relies on generative models,
leveraging their strong generation capabilities for addressing ill-conditioned
problems. However, this enhanced generation often introduces instability,
leading to arbitrary object generation within masked regions. This paper
proposes a balanced solution, emphasizing the importance of unmasked regions in
guiding inpainting while preserving generative capacity. Our approach, Aligned
Stable Inpainting with UnKnown Areas Prior (ASUKA), employs a
reconstruction-based masked auto-encoder (MAE) as a stable prior. Aligned with
the robust Stable Diffusion inpainting model (SD), ASUKA significantly improves
inpainting stability. ASUKA further aligns masked and unmasked regions through
an inpainting-specialized decoder, ensuring more faithful inpainting. To
validate effectiveness across domains and masking scenarios, we evaluate on
MISATO, a collection of several existing dataset. Results confirm ASUKA's
efficacy in both stability and fidelity compared to SD and other inpainting
algorithms.
- Abstract(参考訳): 塗装の最近の進歩は生成モデルにますます依存し、不条件問題に対処する強力な生成能力を活用している。
しかし、この拡張された生成はしばしば不安定をもたらし、マスクされた領域内で任意のオブジェクト生成をもたらす。
本稿では,生成能力を維持しつつ塗り込みを指導する上で,未マスク領域の重要性を強調するバランスのとれた解を提案する。
ASUKA(Aigned Staable Inpainting with UnKnown Areas Prior)は,再建型マスク付きオートエンコーダ(MAE)を従来型として採用している。
安定拡散塗装モデル (SD) により, ASUKA は塗装安定性を著しく向上させる。
ASUKAはさらに、塗装された特定のデコーダを通じてマスクされた領域と未加工領域を調整し、より忠実な塗布を確実にする。
ドメインとマスキングシナリオ間の有効性を検証するため,既存のデータセットの集合であるMISATOを評価した。
その結果,ASUKAの安定性と忠実度はSDおよび他の塗布アルゴリズムと比較した。
関連論文リスト
- BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed
Dual-Branch Diffusion [61.90969199199739]
BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。
BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
論文 参考訳(メタデータ) (2024-03-11T17:59:31Z) - UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳(メタデータ) (2024-02-12T19:39:26Z) - GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。
我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。
提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
論文 参考訳(メタデータ) (2022-12-06T14:32:55Z) - MixMask: Revisiting Masking Strategy for Siamese ConvNets [24.20212182301359]
画像中のランダムに消去された領域によって引き起こされる情報の不完全性を防止するために,MixMaskと呼ばれる補充型マスキング手法を提案する。
提案手法は, 線形探索, 半教師付き, 教師付き微調整において, 精度が向上し, 最先端のMSCNよりも有意な差が認められた。
論文 参考訳(メタデータ) (2022-10-20T17:54:03Z) - Wavelet Prior Attention Learning in Axial Inpainting Network [35.06912946192495]
Axial Inpainting Network (WAIN) におけるウェーブレット事前注意学習モデルを提案する。
WPAは、マルチスケールの周波数領域における高レベルの特徴集約をガイドし、テキストアーティファクトを緩和する。
積み重ねられたATは、水平軸と垂直軸の低レベルの特徴とともに、合理的な特徴をモデル化するのに役立つ。
論文 参考訳(メタデータ) (2022-06-07T08:45:27Z) - Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。
符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。
私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
論文 参考訳(メタデータ) (2021-04-28T13:17:47Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z) - Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
アウトペイントには2つの課題があるため、あまり注意を払わない。
第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。
第2の課題は、生成した結果の高品質を維持する方法です。
論文 参考訳(メタデータ) (2019-12-29T16:29:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。