論文の概要: ShowFace: Coordinated Face Inpainting with Memory-Disentangled
Refinement Networks
- arxiv url: http://arxiv.org/abs/2204.02824v1
- Date: Wed, 6 Apr 2022 13:36:41 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 14:02:47.979803
- Title: ShowFace: Coordinated Face Inpainting with Memory-Disentangled
Refinement Networks
- Title（参考訳）: ShowFace: メモリ分散リファインメントネットワークによるコーディネート顔インペインティング
- Authors: Zhuojie Wu, Xingqun Qi, Zijian Wang, Wanting Zhou, Kun Yuan, Muyi Sun
and Zhenan Sun
- Abstract要約: 本稿では,顔の顔の塗り絵をコーディネートするためのMDRN(Memory-Disentangled Refinement Networks)を提案する。
DMMは、セマンティック・デカップリングされた顔表現を格納するために、切り離されたメモリブロックのグループを確立する。
MREMは、崩壊した領域における特徴関係を強化するためのマスク付き相関マイニング機構を含む。
- 参考スコア（独自算出の注目度）: 38.812334168881186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Face inpainting aims to complete the corrupted regions of the face images,
which requires coordination between the completed areas and the non-corrupted
areas. Recently, memory-oriented methods illustrate great prospects in the
generation related tasks by introducing an external memory module to improve
image coordination. However, such methods still have limitations in restoring
the consistency and continuity for specificfacial semantic parts. In this
paper, we propose the coarse-to-fine Memory-Disentangled Refinement Networks
(MDRNets) for coordinated face inpainting, in which two collaborative modules
are integrated, Disentangled Memory Module (DMM) and Mask-Region Enhanced
Module (MREM). Specifically, the DMM establishes a group of disentangled memory
blocks to store the semantic-decoupled face representations, which could
provide the most relevant information to refine the semantic-level
coordination. The MREM involves a masked correlation mining mechanism to
enhance the feature relationships into the corrupted regions, which could also
make up for the correlation loss caused by memory disentanglement. Furthermore,
to better improve the inter-coordination between the corrupted and
non-corrupted regions and enhance the intra-coordination in corrupted regions,
we design InCo2 Loss, a pair of similarity based losses to constrain the
feature consistency. Eventually, extensive experiments conducted on CelebA-HQ
and FFHQ datasets demonstrate the superiority of our MDRNets compared with
previous State-Of-The-Art methods.
- Abstract（参考訳）: Face Inpaintingは、完了した領域と非破損した領域の調整を必要とする顔画像の劣化した領域を完成させることを目的としている。
近年,画像のコーディネーションを改善するために外部メモリモジュールを導入することで,メモリ指向手法が生成関連タスクにおいて大きな期待値を示している。
しかし、そのような手法は、特定の意味的部分に対する一貫性と連続性を回復する際の限界がある。
本稿では,2つの協調モジュール,dmm(disentangled memory module)とmrem(mask-region enhanced module)を統合した,協調顔ペイントのための粒度から粒度までのメモリ不等角化ネットワーク(mdrnets)を提案する。
具体的には、DMMは、セマンティック・デカップリングされた顔表現を格納するために、アンタングル化されたメモリブロックのグループを確立する。
MREMは、劣化した領域の特徴的関係を強化するためのマスク付き相関マイニング機構を備えており、メモリの絡み合いによる相関損失を補うこともできる。
さらに, 劣化領域と非破壊領域の相互調整を改善し, 劣化領域における協調性を高めるため, inco2ロスの設計を行った。
最終的に、CelebA-HQとFFHQのデータセットで実施された広範な実験は、これまでのState-Of-The-Art手法と比較してMDRNetの優位性を実証した。
関連論文リスト
- UGMAE: A Unified Framework for Graph Masked Autoencoders [67.75493040186859]
グラフマスク付きオートエンコーダのための統一フレームワークであるUGMAEを提案する。
まず,ノードの特異性を考慮した適応型特徴マスク生成器を開発した。
次に,階層型構造再構成と特徴再構成を併用し,総合的なグラフ情報を取得する。
論文 参考訳（メタデータ） (2024-02-12T19:39:26Z) - Decomposing and Coupling Saliency Map for Lesion Segmentation in
Ultrasound Images [10.423431415758655]
超音波画像の複雑なシナリオは、隣接する組織が類似の強度を共有し、よりリッチなテクスチャパターンを含むことで、正確な病変のセグメンテーションに固有の課題をもたらす。
この研究はDC-Netと呼ばれる分解結合ネットワークを示し、(地上背景)サリエンシマップのアンタングルメント・フュージョン方式でこの問題に対処する。
提案手法は2つの超音波病変セグメンテーションタスクで評価され,既存の最先端手法よりも顕著な性能向上を示す。
論文 参考訳（メタデータ） (2023-08-02T05:02:30Z) - MM-3DScene: 3D Scene Understanding by Customizing Masked Modeling with
Informative-Preserved Reconstruction and Self-Distilled Consistency [120.9499803967496]
本稿では,地域統計を探索し,代表的構造化点の発見と保存を行う新しい情報保存型再構築法を提案する。
本手法は, 地域形状のモデル化に集中し, マスク復元のあいまいさを軽減できる。
マスク付き領域における情報保存型再構築と未加工領域からの連続自己蒸留を組み合わせることにより,MM-3DSceneと呼ばれる統合フレームワークが提供される。
論文 参考訳（メタデータ） (2022-12-20T01:53:40Z) - SEMICON: A Learning-to-hash Solution for Large-scale Fine-grained Image
Retrieval [42.454761388123025]
我々は,Suppression-Enhancing Mask based attention and Interactive Channel transformation (SEMICON)を提案する。
SEMICONは、大規模なきめ細かい画像検索タスクを扱うためにバイナリハッシュコードを学ぶように設計されている。
5つのベンチマークのきめ細かいデータセットの実験は、競合する手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2022-09-28T04:38:04Z) - Reasoning Structural Relation for Occlusion-Robust Facial Landmark
Localization [5.171058506312429]
本稿では,オクルージョン・ロバストなランドマークローカライゼーションのための構造関係ネットワーク(SRN)を提案する。
形状制約を単純に活用する既存の方法とは異なり、提案したSRNは異なる顔成分間の構造的関係を捉えることを目的としている。
提案手法は,隠蔽面とマスク面の優れた性能を実現する。
論文 参考訳（メタデータ） (2021-12-19T08:27:37Z) - Self-supervised Correlation Mining Network for Person Image Generation [9.505343361614928]
人物画像生成は、ソース画像の非剛性変形を実現することを目的としている。
特徴空間のソース画像を再構成する自己教師付き相関マイニングネットワーク(SCM-Net)を提案する。
クロススケールポーズ変換の忠実度を向上させるために,グラフに基づく身体構造保持損失を提案する。
論文 参考訳（メタデータ） (2021-11-26T03:57:46Z) - Universal Face Restoration With Memorized Modulation [73.34750780570909]
本稿では,ユニバーサルブラインド顔修復(BFR)のための記憶変調(RMM)フレームワークを提案する。
ランダムノイズと教師なしウェーブレットメモリを適用し、顔強調生成装置を適応的に変調する。
実験により,提案手法が最先端の手法と比較して優れていること,野生における優れた一般化が示された。
論文 参考訳（メタデータ） (2021-10-03T15:55:07Z) - Unpaired Adversarial Learning for Single Image Deraining with Rain-Space
Contrastive Constraints [61.40893559933964]
我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。
提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
論文 参考訳（メタデータ） (2021-09-07T10:00:45Z) - Relational Deep Feature Learning for Heterogeneous Face Recognition [17.494718795454055]
一般的な顔の特徴に加えて,グローバルな関係情報を抽出するグラフモジュール (Graph Module, NIR) を提案する。
提案手法は,5つの異種顔認識(HFR)データベースにおいて,他の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-03-02T07:35:23Z) - Unsupervised Bidirectional Cross-Modality Adaptation via Deeply
Synergistic Image and Feature Alignment for Medical Image Segmentation [73.84166499988443]
我々は、Synergistic Image and Feature Alignment (SIFA)と名付けられた新しい教師なしドメイン適応フレームワークを提案する。
提案するSIFAは、画像と特徴の両方の観点から、ドメインの相乗的アライメントを行う。
2つの異なるタスクに対する実験結果から,SIFA法は未ラベル対象画像のセグメンテーション性能を向上させるのに有効であることが示された。
論文 参考訳（メタデータ） (2020-02-06T13:49:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。