論文の概要: Structure-aware Image Inpainting with Two Parallel Streams

• arxiv url: http://arxiv.org/abs/2111.03414v1
• Date: Fri, 5 Nov 2021 11:34:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 14:20:17.181091
• Title: Structure-aware Image Inpainting with Two Parallel Streams
• Title（参考訳）: 2つの並列ストリームによる構造認識画像の描画
• Authors: Zhilin Huang, Chujun Qin, Ruixin Liu, Zhenyu Weng and Yuesheng Zhu
• Abstract要約: 主ストリーム(MS)と構造ストリーム(SS)の2つの並列UNetストリームからなるエンドツーエンドアーキテクチャを提案する。 MSは、欠落した構造とテクスチャを同時に推測することで詳細な画像を再構成し、SSは、MSエンコーダから階層情報を処理することで、欠落した構造のみを復元する。
• 参考スコア（独自算出の注目度）: 22.8104052892665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works in image inpainting have shown that structural information plays an important role in recovering visually pleasing results. In this paper, we propose an end-to-end architecture composed of two parallel UNet-based streams: a main stream (MS) and a structure stream (SS). With the assistance of SS, MS can produce plausible results with reasonable structures and realistic details. Specifically, MS reconstructs detailed images by inferring missing structures and textures simultaneously, and SS restores only missing structures by processing the hierarchical information from the encoder of MS. By interacting with SS in the training process, MS can be implicitly encouraged to exploit structural cues. In order to help SS focus on structures and prevent textures in MS from being affected, a gated unit is proposed to depress structure-irrelevant activations in the information flow between MS and SS. Furthermore, the multi-scale structure feature maps in SS are utilized to explicitly guide the structure-reasonable image reconstruction in the decoder of MS through the fusion block. Extensive experiments on CelebA, Paris StreetView and Places2 datasets demonstrate that our proposed method outperforms state-of-the-art methods.
• Abstract（参考訳）: 画像の塗布における最近の研究は、構造情報が視覚的快楽の回復に重要な役割を果たしていることを示している。 本稿では,2つの並列 unet ベースのストリームである main stream (ms) と structure stream (ss) からなるエンドツーエンドアーキテクチャを提案する。 SSの助けを借りて、MSは合理的な構造と現実的な詳細を持つもっともらしい結果を生み出すことができる。 特に、msは、欠落した構造とテクスチャを同時に推測して詳細な画像を再構成し、ssは、トレーニングプロセスにおいて、ssと相互作用することで、msのエンコーダから階層情報を処理して、欠落した構造のみを復元する。 SSがMSの構造に焦点を合わせ、MSのテクスチャが影響を受けるのを防ぐため、SSとSS間の情報フローにおける構造関連アクティベーションを抑えるためにゲートユニットを提案する。 さらに、SS内のマルチスケール構造特徴写像を用いて、融合ブロックを介してMSデコーダにおける構造許容画像再構成を明示的に導く。 celeba, paris streetviewおよびplaces2データセットの広範な実験により,提案手法が最先端手法よりも優れていることが示された。

関連論文リスト

• Prompt-SID: Learning Structural Representation Prompt via Latent Diffusion for Single-Image Denoising [23.07977702905715]
  Prompt-SIDは、構造的詳細を保存することを強調する、素早い学習に基づく単一画像記述フレームワークである。 構造的エンコーディングを通じてオリジナルスケールの画像情報をキャプチャし、このプロンプトをデノイザに統合する。 本稿では, 合成, 実世界, 蛍光画像の総合的な実験を行い, Prompt-SIDの顕著な有効性を示す。
  論文  参考訳（メタデータ） (2025-02-10T13:09:47Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal Structured Representations [70.41385310930846]
  マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。 シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。 知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
  論文  参考訳（メタデータ） (2023-05-06T03:57:05Z)
• Task-specific Scene Structure Representations [13.775485887433815]
  本研究では,シーンのタスク固有の構造ガイダンスを抽出する単一汎用ニューラルネットワークアーキテクチャを提案する。 我々の主な貢献は、このような単純なネットワークが、いくつかの低レベル視覚アプリケーションに対して最先端の結果を得ることができることを示すことである。
  論文  参考訳（メタデータ） (2023-01-02T08:25:47Z)
• Learning Detail-Structure Alternative Optimization for Blind Super-Resolution [69.11604249813304]
  そこで我々は,ブラインドSRに先立ってカーネルを曖昧にすることなく,再帰的な詳細構造代替最適化を実現する,有効かつカーネルフリーなネットワークDSSRを提案する。 DSSRでは、細部構造変調モジュール(DSMM)が構築され、画像の詳細と構造の相互作用と協調を利用する。 本手法は既存の手法に対して最先端の手法を実現する。
  論文  参考訳（メタデータ） (2022-12-03T14:44:17Z)
• Multi-feature Co-learning for Image Inpainting [2.4571440831539824]
  本稿では,画像インペイントのための深層多機能コラーニングネットワークを設計する。 具体的には、まず2つの枝を使って、構造的特徴とテクスチャ的特徴を別々に学習する。 SDFFモジュールはテクスチャ特徴に構造特徴を統合するとともに,テクスチャ特徴を構造特徴の生成補助として利用する。
  論文  参考訳（メタデータ） (2022-05-21T12:15:26Z)
• Cross-SRN: Structure-Preserving Super-Resolution Network with Cross Convolution [64.76159006851151]
  低解像度 (LR) 画像から高解像度 (SR) 画像への復元は, 正確かつ明確である。 既存のディープラーニングは、画像の固有の構造情報をほとんど無視する。 構造情報の探索と保存を行う階層的特徴利用ネットワークを設計する。
  論文  参考訳（メタデータ） (2022-01-05T05:15:01Z)
• Structure-Preserving Image Super-Resolution [94.16949589128296]
  単一画像超解像(SISR)の構造 近年の研究では、フォトリアリスティック画像の復元によるSISRの開発が進められている。 しかし、回収された画像にはいまだ望ましくない構造歪みがある。
  論文  参考訳（メタデータ） (2021-09-26T08:48:27Z)
• Image Inpainting via Conditional Texture and Structure Dual Generation [26.97159780261334]
  本稿では, 構造制約によるテクスチャ合成とテクスチャ誘導による構造再構築をモデル化した, 画像インペイントのための新しい2ストリームネットワークを提案する。 グローバルな一貫性を高めるため、双方向Gated Feature Fusion (Bi-GFF)モジュールは構造情報とテクスチャ情報を交換・結合するように設計されている。 CelebA、Paris StreetView、Places2データセットの実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2021-08-22T15:44:37Z)
• Conceptual Compression via Deep Structure and Texture Synthesis [42.68994438290913]
  本稿では,視覚データをコンパクトな構造とテクスチャ表現にエンコードし,深層合成方式でデコードする,新しい概念圧縮フレームワークを提案する。 特に,2つの相補的な視覚特徴からなる二重層モデルを用いて画像の圧縮を提案する。 エンコーダ側では、構造地図とテクスチャ表現を個別に抽出して圧縮し、コンパクトで解釈可能な、相互運用可能なビットストリームを生成する。 復号段階では, 階層的融合GAN (HF-GAN) が提案され, テクスチャがデコードされた構造写像に描画される合成パラダイムを学習し, 高品質な再構成を実現する。
  論文  参考訳（メタデータ） (2020-11-10T08:48:32Z)
• Retinal Image Segmentation with a Structure-Texture Demixing Network [62.69128827622726]
  複雑な構造とテクスチャ情報は網膜画像に混在し、その情報の識別が困難である。 既存の手法はテクスチャと構造を共同で扱うため、偏りのあるモデルをテクスチャ認識に導くことができ、結果としてセグメンテーション性能は低下する。 本稿では,構造成分とテクスチャ成分を分離し,性能を大幅に向上させるセグメンテーション戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-15T12:19:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。