論文の概要: Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps

• arxiv url: http://arxiv.org/abs/2104.12087v1
• Date: Sun, 25 Apr 2021 07:25:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:38:51.310401
• Title: Image Inpainting with Edge-guided Learnable Bidirectional Attention Maps
• Title（参考訳）: エッジ誘導学習型双方向アテンションマップによる画像表示
• Authors: Dongsheng Wang, Chaohao Xie, Shaohui Liu, Zhenxing Niu, Wangmeng Zuo
• Abstract要約: 不規則な穴の画像インペインティングを改善するためのエッジガイド学習可能な双方向注意マップ(Edge-LBAM)を紹介します。 当社のEdge-LBAMメソッドには、予測エッジによる構造認識マスク更新を含むデュアルプロシージャが含まれています。 広範な実験により,エッジlbamはコヒーレントな画像構造を生成し,色差やぼやけを防止できることがわかった。
• 参考スコア（独自算出の注目度）: 85.67745220834718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For image inpainting, the convolutional neural networks (CNN) in previous methods often adopt standard convolutional operator, which treats valid pixels and holes indistinguishably. As a result, they are limited in handling irregular holes and tend to produce color-discrepant and blurry inpainting result. Partial convolution (PConv) copes with this issue by conducting masked convolution and feature re-normalization conditioned only on valid pixels, but the mask-updating is handcrafted and independent with image structural information. In this paper, we present an edge-guided learnable bidirectional attention map (Edge-LBAM) for improving image inpainting of irregular holes with several distinct merits. Instead of using a hard 0-1 mask, a learnable attention map module is introduced for learning feature re-normalization and mask-updating in an end-to-end manner. Learnable reverse attention maps are further proposed in the decoder for emphasizing on filling in unknown pixels instead of reconstructing all pixels. Motivated by that the filling-in order is crucial to inpainting results and largely depends on image structures in exemplar-based methods, we further suggest a multi-scale edge completion network to predict coherent edges. Our Edge-LBAM method contains dual procedures,including structure-aware mask-updating guided by predict edges and attention maps generated by masks for feature re-normalization.Extensive experiments show that our Edge-LBAM is effective in generating coherent image structures and preventing color discrepancy and blurriness, and performs favorably against the state-of-the-art methods in terms of qualitative metrics and visual quality.
• Abstract（参考訳）: 画像インペインティングでは、従来の方法では畳み込みニューラルネットワーク(cnn)が標準的な畳み込み演算子を採用することが多い。 その結果、不規則な穴の取扱いに制限があり、色覚やぼやけた塗装結果をもたらす傾向にある。 部分畳み込み(pconv)は、有効な画素のみを条件としたマスク畳み込みと特徴再正規化を行うが、マスクアップディングは手作りで画像構造情報とは独立している。 本稿では,不規則な穴の塗装性を改善するためのエッジ誘導学習型双方向アテンションマップ(Edge-LBAM)を提案する。 ハードな0-1マスクの代わりに、学習可能なアテンションマップモジュールを導入し、特徴の正規化とマスク更新をエンドツーエンドで学習する。 学習可能な逆アテンションマップは、すべてのピクセルを再構成するのではなく、未知のピクセルを埋めることを強調するデコーダでさらに提案されている。 フィリングイン順序は,結果の反映に不可欠であり,exemplarに基づく手法では画像構造に大きく依存するため,コヒーレントエッジを予測できるマルチスケールエッジ補完ネットワークを提案する。 エッジlbam法には,特徴再正規化のためにマスクが生成する注意マップやエッジを予測した構造認識マスクアップデーティングを含む2つの手順が含まれており,エッジlbamはコヒーレントな画像構造の生成や色差やぼやかしの防止に有効であり,質的指標や視覚品質の観点からは最先端の手法に対して好適に作用することを示す。

関連論文リスト

• Parallax-Tolerant Unsupervised Deep Image Stitching [57.76737888499145]
  本稿では,パララックス耐性の非教師あり深層画像縫合技術であるUDIS++を提案する。 まず,グローバルなホモグラフィから局所的な薄板スプライン運動への画像登録をモデル化するための,頑健で柔軟なワープを提案する。 本研究では, 縫合された画像をシームレスに合成し, シーム駆動合成マスクの教師なし学習を行うことを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:40:55Z)
• MaskSketch: Unpaired Structure-guided Masked Image Generation [56.88038469743742]
  MaskSketchは、サンプリング中の余分な条件信号としてガイドスケッチを使用して生成結果の空間的条件付けを可能にする画像生成方法である。 マスク付き生成変換器の中間自己アテンションマップが入力画像の重要な構造情報を符号化していることを示す。 以上の結果から,MaskSketchは誘導構造に対する高画像リアリズムと忠実性を実現する。
  論文  参考訳（メタデータ） (2023-02-10T20:27:02Z)
• Reference Guided Image Inpainting using Facial Attributes [18.09748108912419]
  本稿では,1つの参照イメージをガイドとして,顔の属性を操作できる代替のユーザガイドインペイントアーキテクチャを提案する。 我々のエンドツーエンドモデルは、正確な参照画像属性転送のための属性抽出器と、その属性を現実的かつ正確にマッピングする塗装モデルとから構成される。
  論文  参考訳（メタデータ） (2023-01-19T12:39:08Z)
• Unbiased Multi-Modality Guidance for Image Inpainting [27.286351511243502]
  画像インペイントのためのエンド・ツー・エンドマルチモダリティ誘導型トランスフォーマネットワークを開発した。 各トランスブロック内において,提案した空間認識型アテンションモジュールは,マルチモーダルな構造特徴を効率的に学習することができる。 本手法は,複数のモーダルからの識別情報に基づいて,画像中の意味的一貫した文脈を豊かにする。
  論文  参考訳（メタデータ） (2022-08-25T03:13:43Z)
• What You See is What You Classify: Black Box Attributions [61.998683569022006]
  我々は、トレーニング済みのブラックボックス分類器であるExpplanandumの属性を予測するために、ディープネットワークであるExplainerを訓練する。 既存のほとんどのアプローチとは異なり、我々の手法はクラス固有のマスクを直接生成することができる。 我々の属性は、視覚的および定量的に確立された方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-23T12:30:04Z)
• One-Stage Deep Edge Detection Based on Dense-Scale Feature Fusion and Pixel-Level Imbalance Learning [5.370848116287344]
  後処理なしで高品質なエッジ画像を生成することができる一段階ニューラルネットワークモデルを提案する。 提案モデルでは、トレーニング済みのニューラルモデルをエンコーダとして使用する古典的なエンコーダデコーダフレームワークを採用している。 本稿では,エッジ画像の画素レベルの不均衡に対処する新たな損失関数を提案する。
  論文  参考訳（メタデータ） (2022-03-17T15:26:00Z)
• Deep Rectangling for Image Stitching: A Learning Baseline [57.76737888499145]
  我々は不規則な境界やシーンに大きな多様性を持つ最初の画像縫合整形データセットを構築した。 実験では、従来の方法よりも定量的にも質的にも優位性を示す。
  論文  参考訳（メタデータ） (2022-03-08T03:34:10Z)
• Image Generation with Self Pixel-wise Normalization [17.147675335268282]
  領域適応正規化(RAN)法はGAN(Generative Adversarial Network)に基づく画像と画像の変換技術で広く用いられている。 本稿では,マスク画像のない画素適応アフィン変換を行うことにより,自己画素ワイド正規化(SPN)と呼ばれる新しい正規化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-26T03:14:31Z)
• Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
  任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。 符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。 私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
  論文  参考訳（メタデータ） (2021-04-28T13:17:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。