論文の概要: Towards Context-Stable and Visual-Consistent Image Inpainting

• arxiv url: http://arxiv.org/abs/2312.04831v2
• Date: Sun, 17 Mar 2024 06:44:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 02:42:50.107976
• Title: Towards Context-Stable and Visual-Consistent Image Inpainting
• Title（参考訳）: コンテクスト・スタブルとビジュアル・コンシステント・イメージ・インペインティングを目指して
• Authors: Yikai Wang, Chenjie Cao, Ke Fan Xiangyang Xue Yanwei Fu,
• Abstract要約: 未知領域(ASUKA)を先行したアライメント安定塗布 ASUKAは、SD(Stable Diffusion Inpainting Model)と相まって、コンテキスト安定性を著しく改善する。 ASUKAは彩色専用デコーダを採用しており、SDの色の不整合を著しく低減し、より視覚的に整合性を確保している。
• 参考スコア（独自算出の注目度）: 11.2378350939602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent progress in inpainting increasingly relies on generative models, leveraging their strong generation capabilities for addressing large irregular masks. However, this enhanced generation often introduces context-instability, leading to arbitrary object generation within masked regions. This paper proposes a balanced solution, emphasizing the importance of unmasked regions in guiding inpainting while preserving generation capacity. Our approach, Aligned Stable Inpainting with UnKnown Areas Prior (ASUKA), employs a Masked Auto-Encoder (MAE) to produce reconstruction-based prior. Aligned with the powerful Stable Diffusion inpainting model (SD), ASUKA significantly improves context stability. ASUKA further adopts an inpainting-specialized decoder, highly reducing the color inconsistency issue of SD and thus ensuring more visual-consistent inpainting. We validate effectiveness of inpainting algorithms on benchmark dataset Places 2 and a collection of several existing datasets, dubbed MISATO, across diverse domains and masking scenarios. Results on these benchmark datasets confirm ASUKA's efficacy in both context-stability and visual-consistency compared to SD and other inpainting algorithms.
• Abstract（参考訳）: 塗装の最近の進歩は、大きな不規則マスクに対処する強力な生成能力を活用して、生成モデルにますます依存している。 しかし、この拡張された生成は、しばしばコンテキスト不安定をもたらし、マスクされた領域内で任意のオブジェクト生成をもたらす。 本稿では, 創出能力を維持しつつ, ペンキを塗布する際の未成熟領域の重要性を強調し, バランスの取れた解を提案する。 ASUKA(Aigned Staable Inpainting with UnKnown Areas Prior)では,Masked Auto-Encoder (MAE) を用いて,事前の再構築を行う。 ASUKAは、SD(Stable Diffusion Inpainting Model)と相まって、コンテキスト安定性を著しく改善する。 ASUKAはさらに、彩色専用デコーダを採用し、SDの色の不整合を著しく低減し、より視覚的に整合性を確保する。 ベンチマークデータセットPlaces 2と、MISATOと呼ばれる、さまざまなドメインやマスキングシナリオにまたがる既存のデータセットのコレクションに対して、インペイントアルゴリズムの有効性を検証する。 これらのベンチマークデータセットの結果は、SDや他の塗装アルゴリズムと比較して、コンテキスト安定性と視覚一貫性の両方においてASUKAの有効性を確認している。

関連論文リスト

• SEM-Net: Efficient Pixel Modelling for image inpainting with Spatially Enhanced SSM [11.447968918063335]
  画像の塗装は、画像の既知の領域の情報に基づいて、部分的に損傷した画像の修復を目的としている。 SEM-Netは、新しいビジュアル・ステート・スペース・モデル(SSM)ビジョン・ネットワークであり、画像の劣化をピクセルレベルでモデル化し、状態空間における長距離依存(LRD)をキャプチャする。
  論文  参考訳（メタデータ） (2024-11-10T00:35:14Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
  グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。 まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。 次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
  論文  参考訳（メタデータ） (2024-02-12T19:39:26Z)
• GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
  Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。 我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。 提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
  論文  参考訳（メタデータ） (2022-12-06T14:32:55Z)
• MixMask: Revisiting Masking Strategy for Siamese ConvNets [23.946791390657875]
  この研究は、textbfMixMaskと呼ばれる新しいフィリングベースのマスキング手法を導入している。 提案手法は,消去された領域を別の画像からのコンテンツに置き換えることにより,従来のマスキング手法で見られる情報の枯渇を効果的に解消する。 我々は,線形探索,半教師付きおよび教師付きファインタニング,オブジェクト検出,セグメンテーションなどの領域におけるフレームワークの性能向上を実証的に検証した。
  論文  参考訳（メタデータ） (2022-10-20T17:54:03Z)
• Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
  任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。 符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。 私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
  論文  参考訳（メタデータ） (2021-04-28T13:17:47Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)
• Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
  アウトペイントには2つの課題があるため、あまり注意を払わない。 第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。 第2の課題は、生成した結果の高品質を維持する方法です。
  論文  参考訳（メタデータ） (2019-12-29T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。