論文の概要: Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand

• arxiv url: http://arxiv.org/abs/2208.03382v1
• Date: Fri, 5 Aug 2022 20:42:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:16:10.119766
• Title: Keys to Better Image Inpainting: Structure and Texture Go Hand in Hand
• Title（参考訳）: イメージインペインティングを改善するキー: 構造とテクスチャが手に入る
• Authors: Jitesh Jain, Yuqian Zhou, Ning Yu, Humphrey Shi
• Abstract要約: インペイントアルゴリズムの性能は、生成された構造やテクスチャによってよりよく判断できると主張している。 本稿では,2つの設計の利点を組み合わせた新しい塗装ネットワークを提案する。 本モデルは,構造生成と繰り返しテクスチャ合成の両面において,最先端の性能に匹敵する視覚的品質を実現する。
• 参考スコア（独自算出の注目度）: 28.32208483559088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep image inpainting has made impressive progress with recent advances in image generation and processing algorithms. We claim that the performance of inpainting algorithms can be better judged by the generated structures and textures. Structures refer to the generated object boundary or novel geometric structures within the hole, while texture refers to high-frequency details, especially man-made repeating patterns filled inside the structural regions. We believe that better structures are usually obtained from a coarse-to-fine GAN-based generator network while repeating patterns nowadays can be better modeled using state-of-the-art high-frequency fast fourier convolutional layers. In this paper, we propose a novel inpainting network combining the advantages of the two designs. Therefore, our model achieves a remarkable visual quality to match state-of-the-art performance in both structure generation and repeating texture synthesis using a single network. Extensive experiments demonstrate the effectiveness of the method, and our conclusions further highlight the two critical factors of image inpainting quality, structures, and textures, as the future design directions of inpainting networks.
• Abstract（参考訳）: ディープ・イメージ・インペイントは画像生成と処理アルゴリズムの最近の進歩によって目覚ましい進歩を遂げた。 塗工アルゴリズムの性能は, 生成した構造やテクスチャによってよりよく判断できると主張している。 構造は穴内の生成した物体の境界や新しい幾何学的構造を指し、テクスチャは高周波の詳細、特に構造領域内の人工的な繰り返しパターンを指す。 私たちは、より優れた構造は通常粗いganベースのジェネレータネットワークから得られるが、今日の繰り返しパターンは最先端の高周波高速フーリエ畳み込み層を使ってより良くモデル化できると信じている。 本稿では,この2つの設計の利点を活かした新しいインペインティングネットワークを提案する。 そこで本モデルでは, 構造生成と繰り返しテクスチャ合成の両面において, 最先端の性能に見合った視覚的品質を実現する。 本手法の有効性を広範な実験により実証し,今後のネットワーク設計の方向性として,画像インパインティング品質,構造,テクスチャの2つの重要な要素をさらに強調した。

関連論文リスト

• Meta 3D TextureGen: Fast and Consistent Texture Generation for 3D Objects [54.80813150893719]
  高品質なテクスチャを20秒未満で生成することを目的とした,2つのシーケンシャルネットワークで構成される新しいフィードフォワード方式であるMeta 3D TextureGenを紹介する。 提案手法は,2次元空間の3次元セマンティクスにテキスト・ツー・イメージ・モデルを適用し,それらを完全かつ高解像度なUVテクスチャマップに融合することにより,品質とスピードを向上する。 さらに、任意の比率で任意のテクスチャをアップスケーリングできるテクスチャ拡張ネットワークを導入し、4kピクセルの解像度テクスチャを生成します。
  論文  参考訳（メタデータ） (2024-07-02T17:04:34Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Progressive with Purpose: Guiding Progressive Inpainting DNNs through Context and Structure [0.0]
  本稿では,処理された画像の構造的・文脈的整合性を維持する新しい塗装ネットワークを提案する。 ガウスピラミッドとラプラシアピラミッドに触発されたこのネットワークのコアは、GLEと呼ばれる特徴抽出モジュールである。 ベンチマーク実験により, 提案手法は, 多くの最先端の塗装アルゴリズムに対して, 性能の向上を図っている。
  論文  参考訳（メタデータ） (2022-09-21T02:15:02Z)
• Image Inpainting via Conditional Texture and Structure Dual Generation [26.97159780261334]
  本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構築をモデル化した, 画像インペイントのための新しい2ストリームネットワークを提案する。 グローバルな一貫性を高めるため、双方向Gated Feature Fusion (Bi-GFF)モジュールは構造情報とテクスチャ情報を交換・結合するように設計されている。 CelebA、Paris StreetView、Places2データセットの実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2021-08-22T15:44:37Z)
• Structure First Detail Next: Image Inpainting with Pyramid Generator [26.94101909283021]
  いくつかのサブジェネレータを積み重ねてピラミッドジェネレータを構築することを提案する。 低層サブジェネレータは画像構造の復元に重点を置いており、高層サブジェネレータは画像の詳細を強調する。 我々の手法は、徐々に穴の大きさを拡大し、大きな穴の画像の復元を可能にする学習手法を持っている。
  論文  参考訳（メタデータ） (2021-06-16T16:00:16Z)
• Generating Diverse Structure for Image Inpainting With Hierarchical VQ-VAE [74.29384873537587]
  本稿では,異なる構造を持つ複数の粗い結果を第1段階で生成し,第2段階ではテクスチャを増補して各粗い結果を別々に洗練する,多彩な塗布用2段階モデルを提案する。 CelebA-HQ, Places2, ImageNetデータセットによる実験結果から,本手法は塗布ソリューションの多様性を向上するだけでなく,生成した複数の画像の視覚的品質も向上することが示された。
  論文  参考訳（メタデータ） (2021-03-18T05:10:49Z)
• Texture Transform Attention for Realistic Image Inpainting [6.275013056564918]
  本研究では,細心の注意を払って絵を描いていない領域をより良く生成するテクスチャトランスフォーメーション・アテンション・ネットワークを提案する。 Texture Transform Attentionは、細かいテクスチャと粗いセマンティクスを使用して、新しい再組み立てテクスチャマップを作成するために使用されます。 我々は,公開データセット celeba-hq と places2 を用いて,エンドツーエンドでモデルを評価する。
  論文  参考訳（メタデータ） (2020-12-08T06:28:51Z)
• Retinal Image Segmentation with a Structure-Texture Demixing Network [62.69128827622726]
  複雑な構造とテクスチャ情報は網膜画像に混在し、その情報の識別が困難である。 既存の手法はテクスチャと構造を共同で扱うため、偏りのあるモデルをテクスチャ認識に導くことができ、結果としてセグメンテーション性能は低下する。 本稿では,構造成分とテクスチャ成分を分離し,性能を大幅に向上させるセグメンテーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-15T12:19:03Z)
• Region-adaptive Texture Enhancement for Detailed Person Image Synthesis [86.69934638569815]
  RATE-Netは、シャープなテクスチャで人物画像を合成するための新しいフレームワークである。 提案するフレームワークは,テクスチャ強化モジュールを利用して,画像から外観情報を抽出する。 DeepFashionベンチマークデータセットで実施された実験は、既存のネットワークと比較して、我々のフレームワークの優位性を実証した。
  論文  参考訳（メタデータ） (2020-05-26T02:33:21Z)
• Towards Analysis-friendly Face Representation with Scalable Feature and Texture Compression [113.30411004622508]
  普遍的で協調的な視覚情報表現は階層的な方法で実現できることを示す。 ディープニューラルネットワークの強力な生成能力に基づいて、基本特徴層と強化層の間のギャップは、特徴レベルのテクスチャ再構築によってさらに埋められる。 提案するフレームワークの効率を改善するために,ベース層ニューラルネットワークをマルチタスクでトレーニングする。
  論文  参考訳（メタデータ） (2020-04-21T14:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。