論文の概要: Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations

• arxiv url: http://arxiv.org/abs/2007.06929v1
• Date: Tue, 14 Jul 2020 09:39:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 14:51:39.434524
• Title: Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations
• Title（参考訳）: 特徴等化をもつ相互エンコーダデコーダによる画像の描画再考
• Authors: Hongyu Liu, Bin Jiang, Yibing Song, Wei Huang, and Chao Yang
• Abstract要約: 相互エンコーダ・デコーダCNNを用いて,構造とテクスチャの同時回復を提案する。 入力画像の構造やテクスチャを表現するために,エンコーダの深い層と浅い層からCNN機能を利用する。 評価実験の結果,提案手法は構造やテクスチャの復元に有効であり,最先端のアプローチに対して良好に機能することがわかった。
• 参考スコア（独自算出の注目度）: 32.22936171220001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep encoder-decoder based CNNs have advanced image inpainting methods for hole filling. While existing methods recover structures and textures step-by-step in the hole regions, they typically use two encoder-decoders for separate recovery. The CNN features of each encoder are learned to capture either missing structures or textures without considering them as a whole. The insufficient utilization of these encoder features limit the performance of recovering both structures and textures. In this paper, we propose a mutual encoder-decoder CNN for joint recovery of both. We use CNN features from the deep and shallow layers of the encoder to represent structures and textures of an input image, respectively. The deep layer features are sent to a structure branch and the shallow layer features are sent to a texture branch. In each branch, we fill holes in multiple scales of the CNN features. The filled CNN features from both branches are concatenated and then equalized. During feature equalization, we reweigh channel attentions first and propose a bilateral propagation activation function to enable spatial equalization. To this end, the filled CNN features of structure and texture mutually benefit each other to represent image content at all feature levels. We use the equalized feature to supplement decoder features for output image generation through skip connections. Experiments on the benchmark datasets show the proposed method is effective to recover structures and textures and performs favorably against state-of-the-art approaches.
• Abstract（参考訳）: ディープエンコーダデコーダベースのcnnは、ホール充填のための高度なイメージインペインティング手法を備えている。 既存の手法では、ホール領域の構造とテクスチャを段階的に復元するが、通常は2つのエンコーダデコーダを使用して別々のリカバリを行う。 各エンコーダのCNN機能は、それら全体を考慮せずに、欠落した構造やテクスチャをキャプチャする。 これらのエンコーダの不十分な利用により、構造とテクスチャの回復性能が制限される。 本稿では,相互エンコーダとデコーダのCNNを用いて,両者の結合回復を提案する。 入力画像の構造とテクスチャをそれぞれ表現するために,エンコーダの深層と浅層からのcnn機能を使用する。 深層特徴は構造分岐に送られ、浅層特徴はテクスチャ分岐に送られる。 各ブランチでは、CNNの機能の複数のスケールで穴を埋めます。 両方のブランチから満たされたCNN機能は連結され、その後等化される。 特徴均等化の際,まずチャネルの注意を尊重し,空間等化を実現するための双方向伝搬活性化関数を提案する。 この目的のために、構造とテクスチャの満たされたCNN特徴は、すべての特徴レベルで画像コンテンツを表現するのに相互に有利である。 我々は、スキップ接続による出力画像生成のためのデコーダ機能を補うために等化機能を使用する。 評価実験の結果,提案手法は構造やテクスチャの復元に有効であり,最先端のアプローチに対して良好に機能することがわかった。

関連論文リスト

• Dynamic Association Learning of Self-Attention and Convolution in Image Restoration [56.49098856632478]
  CNNとSelf attentionは、画像修復における自己意識と畳み込みの動的関連学習のためのマルチメディアアプリケーションにおいて大きな成功を収めている。 本稿では,その利点を活かし,その欠点を抑え,高品質で効率的な塗布を実現するためのアソシエーション学習手法を提案する。
  論文  参考訳（メタデータ） (2023-11-09T05:11:24Z)
• Delving Globally into Texture and Structure for Image Inpainting [20.954875933730808]
  画像の塗布は目覚ましい進歩を遂げ、豊富な手法にインスピレーションを与え、重要なボトルネックは、マスキング領域における高周波構造と低周波テクスチャ情報のセマンティクスを満たす方法として特定される。 本稿では,テクスチャと構造情報を世界規模で探索し,画像インペイントのセマンティクスをうまく把握する。 我々のモデルは、テクスチャと構造情報の観点から、コナールニューラルネットワーク(CNN)やアテンション、トランスフォーマーモデルといったファッショナブルな芸術への進化である。
  論文  参考訳（メタデータ） (2022-09-17T02:19:26Z)
• SoftPool++: An Encoder-Decoder Network for Point Cloud Completion [93.54286830844134]
  本稿では,ポイントクラウド完了作業のための新しい畳み込み演算子を提案する。 提案した演算子は、最大プールやボキセル化操作を一切必要としない。 提案手法は,低解像度・高解像度の形状仕上げにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-05-08T15:31:36Z)
• The Devil Is in the Details: Window-based Attention for Image Compression [58.1577742463617]
  既存の学習画像圧縮モデルは畳み込みニューラルネットワーク(CNN)に基づいている。 本稿では,複数種類の注意機構が局所特徴学習に与える影響について検討し,より単純で効果的なウィンドウベースの局所的注意ブロックを提案する。 提案されたウィンドウベースのアテンションは非常に柔軟で、CNNとTransformerモデルを強化するためのプラグイン・アンド・プレイコンポーネントとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-03-16T07:55:49Z)
• Coordinate Translator for Learning Deformable Medical Image Registration [15.057534618761268]
  我々は,CNNエンコーダから抽出した階層的特徴を持つ複数のCoTrを用いた新しい変形可能な登録ネットワークim2gridを提案する。 我々は、im2gridを最先端のDL法と非DL法と比較し、教師なし3次元磁気共鳴画像の登録を行う。 実験の結果,Im2gridは定性的・定量的にこれらの手法より優れていた。
  論文  参考訳（メタデータ） (2022-03-05T21:23:03Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• DeFLOCNet: Deep Image Editing via Flexible Low-level Controls [45.01187722239724]
  粗い低レベルの入力は、コンテンツ作成に対するユーザの意図を伝える。 既存の方法は入力画像とこれらのCNN入力の低レベル制御を組み合わせる。 これらの制御のガイダンスを維持するために、ディープエンコーダデコーダCNNを使用するDeFLOCNetを提案します。
  論文  参考訳（メタデータ） (2021-03-23T17:47:23Z)
• The Mind's Eye: Visualizing Class-Agnostic Features of CNNs [92.39082696657874]
  本稿では,特定のレイヤの最も情報性の高い特徴を表現した対応する画像を作成することにより,画像の集合を視覚的に解釈する手法を提案する。 本手法では, 生成ネットワークを必要とせず, 元のモデルに変更を加えることなく, デュアルオブジェクトのアクティベーションと距離損失を利用する。
  論文  参考訳（メタデータ） (2021-01-29T07:46:39Z)
• Free-Form Image Inpainting via Contrastive Attention Network [64.05544199212831]
  画像の塗装作業では、複雑なパターンを形成する画像のどこにでも、どんな形でもマスクが現れる。 エンコーダはこの複雑な状況下でこのような強力な表現を捕捉することは困難である。 本稿では,ロバスト性と一般化性を改善するための自己教師型シームズ推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2020-10-29T14:46:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。