論文の概要: Interactive Image Inpainting Using Semantic Guidance

• arxiv url: http://arxiv.org/abs/2201.10753v1
• Date: Wed, 26 Jan 2022 05:09:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 13:35:24.640123
• Title: Interactive Image Inpainting Using Semantic Guidance
• Title（参考訳）: セマンティックガイダンスを用いたインタラクティブな画像描画
• Authors: Wangbo Yu, Jinhao Du, Ruixin Liu, Yixuan Li, Yuesheng zhu
• Abstract要約: 本稿では,ユーザ自身の好みや記憶によってインペイント結果のカスタマイズを可能にする,新しい画像インペイント手法を提案する。 第1段階では、新規な空間的注意機構に基づくオートエンコーダを配置して、破損した画像の再構成特徴を生成する。 第2段階では、ユーザがカスタマイズしたセマンティックマスクによって導かれる微細な塗布結果を合成するために、予め再構成された特徴を取り入れたセマンティックデコーダが採用される。
• 参考スコア（独自算出の注目度）: 36.34615403590834
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Image inpainting approaches have achieved significant progress with the help of deep neural networks. However, existing approaches mainly focus on leveraging the priori distribution learned by neural networks to produce a single inpainting result or further yielding multiple solutions, where the controllability is not well studied. This paper develops a novel image inpainting approach that enables users to customize the inpainting result by their own preference or memory. Specifically, our approach is composed of two stages that utilize the prior of neural network and user's guidance to jointly inpaint corrupted images. In the first stage, an autoencoder based on a novel external spatial attention mechanism is deployed to produce reconstructed features of the corrupted image and a coarse inpainting result that provides semantic mask as the medium for user interaction. In the second stage, a semantic decoder that takes the reconstructed features as prior is adopted to synthesize a fine inpainting result guided by user's customized semantic mask, so that the final inpainting result will share the same content with user's guidance while the textures and colors reconstructed in the first stage are preserved. Extensive experiments demonstrate the superiority of our approach in terms of inpainting quality and controllability.
• Abstract（参考訳）: イメージインパインティングアプローチは、ディープニューラルネットワークの助けを借りて大きな進歩を遂げた。 しかしながら、既存のアプローチは主に、ニューラルネットワークが学習した事前分布を活用して、単一の影響結果を生成すること、あるいは、制御可能性について十分に研究されていない複数のソリューションを出力することに焦点を当てている。 本稿では,ユーザが自身の好みや記憶によってインペイント結果をカスタマイズできる新しいイメージインペイント手法を提案する。 具体的には,ニューラルネットワークの先行利用と,劣化した画像を共同で塗布するためのユーザ指導の2段階からなる。 第1段階では、新規な空間的注意機構に基づくオートエンコーダを配置して、破損した画像の再構成特徴と、ユーザインタラクションの媒体としてセマンティックマスクを提供する粗い塗装結果を生成する。 第2段階では、予め再構成された特徴を取り入れたセマンティックデコーダを採用して、ユーザのカスタマイズされたセマンティックマスクによってガイドされた微細な塗布結果を合成し、最終塗布結果が第1段で再構成されたテクスチャや色を保存しつつ、ユーザのガイダンスと同じ内容を共有する。 広汎な実験は、我々のアプローチが品質と制御可能性に影響を与えていることを示す。

関連論文リスト

• Sketch-guided Image Inpainting with Partial Discrete Diffusion Process [5.005162730122933]
  スケッチ誘導インペイントのための新しい部分離散拡散法(PDDP)を提案する。 PDDPは画像のマスキング領域を破損させ、手描きスケッチで条件付けられたこれらのマスキング領域を再構築する。 提案するトランスモジュールは,2つの入力を受信する。マスク領域を含む画像はインペイントされ,クエリスケッチは逆拡散過程をモデル化する。
  論文  参考訳（メタデータ） (2024-04-18T07:07:38Z)
• BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion [61.90969199199739]
  BrushNetは、ピクセルレベルのマスク付きイメージ機能を事前訓練されたDMに埋め込むために設計された、新しいプラグアンドプレイデュアルブランチモデルである。 BrushNetは、画像品質、マスク領域保存、テキストコヒーレンスを含む7つの主要な指標で、既存のモデルよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:31Z)
• Learning to Scale Temperature in Masked Self-Attention for Image Inpainting [11.52934596799707]
  マルチヘッド温度マスキング自己保持機構を用いた画像塗布フレームワークを提案する。 描画結果の画質の向上に加えて,新しいスケッチ生成手法を導入してユーザガイド画像編集に一般化する。
  論文  参考訳（メタデータ） (2023-02-13T06:37:17Z)
• Unbiased Multi-Modality Guidance for Image Inpainting [27.286351511243502]
  画像インペイントのためのエンド・ツー・エンドマルチモダリティ誘導型トランスフォーマネットワークを開発した。 各トランスブロック内において,提案した空間認識型アテンションモジュールは,マルチモーダルな構造特徴を効率的に学習することができる。 本手法は,複数のモーダルからの識別情報に基づいて,画像中の意味的一貫した文脈を豊かにする。
  論文  参考訳（メタデータ） (2022-08-25T03:13:43Z)
• Learning Prior Feature and Attention Enhanced Image Inpainting [63.21231753407192]
  本稿では,事前学習に基づくMasked AutoEncoder(MAE)を塗装モデルに組み込む。 マスク付き領域とマスキングされていない領域間の長距離依存性をより学習させるために,MAE の注意点を用いた手法を提案する。
  論文  参考訳（メタデータ） (2022-08-03T04:32:53Z)
• A Wasserstein GAN for Joint Learning of Inpainting and its Spatial Optimisation [3.4392739159262145]
  空間的インペイントデータ最適化のための最初の生成逆ネットワークを提案する。 従来のアプローチとは対照的に、着色発電機とそれに対応するマスクネットワークのジョイントトレーニングが可能である。 これにより、従来のモデルよりも視覚的品質とスピードが大幅に向上し、現在の最適化ネットワークよりも優れています。
  論文  参考訳（メタデータ） (2022-02-11T14:02:36Z)
• Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps [85.67745220834718]
  不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
  論文  参考訳（メタデータ） (2021-04-25T07:25:16Z)
• Image Inpainting Guided by Coherence Priors of Semantics and Textures [62.92586889409379]
  セマンティクスとテクスチャ間のコヒーレンスプリエンスを導入することにより、セマンティクス的な方法で別々のテクスチャを完成させることに集中できる。 また,全体構造と詳細なテクスチャの観点から,セマンティクスとインペインテッドイメージの一貫性を制約する2つのコヒーレンス損失を提案する。
  論文  参考訳（メタデータ） (2020-12-15T02:59:37Z)
• Region-of-interest guided Supervoxel Inpainting for Self-supervision [8.744460886823322]
  自己教師付き学習は、バイオメディカルイメージセグメンテーションで利用可能なすべてのデータを最大限に活用する上で有益であることが証明されている。 自己超越を達成するための特にシンプルで効果的なメカニズムは、画像の残りの部分に基づいて、任意の欠落した領域を予測する作業であるインペインティングである。 本稿では,ディープニューラルネットワークの性能を高めるために,新しい2つの構造変化を提案する。 提案手法は, 教師付きCNNにおいて, 自己スーパービジョンを伴わず, 従来型のインペインティングベースの自己スーパービジョン方式において, 大小のトレーニングセットサイズと小小のトレーニングセットサイズの両方において, 一貫して優れていたことを実証的に示す。
  論文  参考訳（メタデータ） (2020-06-26T19:28:20Z)
• Very Long Natural Scenery Image Prediction by Outpainting [96.8509015981031]
  アウトペイントには2つの課題があるため、あまり注意を払わない。 第一の課題は、生成された画像と元の入力の間の空間的および内容的整合性を維持する方法である。 第2の課題は、生成した結果の高品質を維持する方法です。
  論文  参考訳（メタデータ） (2019-12-29T16:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。