論文の概要: TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network

• arxiv url: http://arxiv.org/abs/2109.08174v1
• Date: Thu, 16 Sep 2021 18:15:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-21 08:43:14.596580
• Title: TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network
• Title（参考訳）: TANet: Transformer-CNNアグリゲーションネットワークによるグローバル顔超解像のための新しいパラダイム
• Authors: Yuanzhi Wang, Tao Lu, Yanduo Zhang, Junjun Jiang, Jiaming Wang, Zhongyuan Wang, Jiayi Ma
• Abstract要約: 本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。 具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。 上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
• 参考スコア（独自算出の注目度）: 72.41798177302175
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, face super-resolution (FSR) methods either feed whole face image into convolutional neural networks (CNNs) or utilize extra facial priors (e.g., facial parsing maps, facial landmarks) to focus on facial structure, thereby maintaining the consistency of the facial structure while restoring facial details. However, the limited receptive fields of CNNs and inaccurate facial priors will reduce the naturalness and fidelity of the reconstructed face. In this paper, we propose a novel paradigm based on the self-attention mechanism (i.e., the core of Transformer) to fully explore the representation capacity of the facial structure feature. Specifically, we design a Transformer-CNN aggregation network (TANet) consisting of two paths, in which one path uses CNNs responsible for restoring fine-grained facial details while the other utilizes a resource-friendly Transformer to capture global information by exploiting the long-distance visual relation modeling. By aggregating the features from the above two paths, the consistency of global facial structure and fidelity of local facial detail restoration are strengthened simultaneously. Experimental results of face reconstruction and recognition verify that the proposed method can significantly outperform the state-of-the-art methods.
• Abstract（参考訳）: 最近、顔の全体像を畳み込みニューラルネットワーク(CNN)にフィードするか、顔の構造に焦点を合わせるために追加の顔前兆(例えば、顔解析マップ、顔のランドマーク)を利用するか、顔の詳細を復元しながら顔の構造の整合性を維持する。 しかし、cnnの限られた受容野と不正確な顔前野は、再構成された顔の自然性と忠実さを減少させる。 本稿では,顔構造の表現能力を完全に探究するために,自己着脱機構(すなわちトランスフォーマのコア)に基づく新しいパラダイムを提案する。 具体的には、2つのパスからなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計し、一方のパスは細かな顔の詳細を復元するCNNを使用し、他方のパスはリソースフレンドリーなTransformerを使用して、長距離視覚関係モデリングを利用してグローバル情報をキャプチャする。 上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。 顔再建と認識実験の結果,提案手法が最先端手法を著しく上回ることを確認した。

関連論文リスト

• W-Net: A Facial Feature-Guided Face Super-Resolution Network [8.037821981254389]
  Face Super-Resolutionは、高解像度 (HR) の顔画像を低解像度 (LR) の顔画像から復元することを目的としている。 既存手法は, 再建効率が低く, 事前情報の利用が不十分であるため, 理想的ではない。 本稿では,この課題に対処するため,W-Netと呼ばれる新しいネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-06-02T09:05:40Z)
• Face Super-Resolution with Progressive Embedding of Multi-scale Face Priors [4.649637261351803]
  フェース超解像のための新しい再帰畳み込みネットワークベースのフレームワークを提案する。 我々は、繰り返しネットワークの中間出力をフル活用し、ランドマーク情報と顔行動単位(AU)情報を抽出する。 提案手法は,画像の画質と顔の細部復元において,最先端のFSR法よりも優れていた。
  論文  参考訳（メタデータ） (2022-10-12T08:16:52Z)
• Multi-Prior Learning via Neural Architecture Search for Blind Face Restoration [61.27907052910136]
  Blind Face Restoration (BFR)は、高品質な顔画像から高品質な顔画像を復元することを目的としている。 1)手動チューニングを伴わない強力なネットワークアーキテクチャの導出方法,2) 複数の顔前者からの補完情報を1つのネットワークで取得して復元性能を向上させる方法,の2つの大きな課題がある。 特定検索空間内において,適切な特徴抽出アーキテクチャを適応的に探索する顔復元検索ネットワーク(FRSNet)を提案する。
  論文  参考訳（メタデータ） (2022-06-28T12:29:53Z)
• Enhancing Quality of Pose-varied Face Restoration with Local Weak Feature Sensing and GAN Prior [29.17397958948725]
  本稿では,前向きに顔の再生を行うブラインド・フェイス・リカバリ・ネットワークを提案する。 我々のモデルは、顔の復元や顔の超解像処理において、従来の技術よりも優れている。
  論文  参考訳（メタデータ） (2022-05-28T09:23:48Z)
• CTCNet: A CNN-Transformer Cooperation Network for Face Image Super-Resolution [64.06360660979138]
  超解像課題に対する効率的なCNN-Transformer Cooperation Network (CTCNet)を提案する。 本稿ではまず,FSAUとTransformerブロックから構成されるLGCM(Local-Global Feature Cooperation Module)を考案した。 次に、エンコードされた機能を強化するために、効率的な機能リファインメントモジュール(FRM)を設計する。
  論文  参考訳（メタデータ） (2022-04-19T06:38:29Z)
• Face Deblurring Based on Separable Normalization and Adaptive Denormalization [25.506065804812522]
  Face Deblurringは、より明示的な構造と顔の詳細で、ぼやけた入力画像から透明な顔イメージを復元することを目的としている。 我々は、分離可能な正規化と適応的な非正規化に基づく効果的な顔分解ネットワークを設計する。 CelebAとCelebA-HQの両方のデータセットの実験結果から、提案した顔劣化ネットワークは、より詳細な顔構造を復元することが示された。
  論文  参考訳（メタデータ） (2021-12-18T03:42:23Z)
• Face Hallucination via Split-Attention in Split-Attention Network [58.30436379218425]
  畳み込みニューラルネットワーク(CNN)は、顔幻覚を促進するために広く用いられている。 顔の全体像とテクスチャの細部を同時に考慮し,新たな内部分割注意グループ(ESAG)を提案する。 これら2つの経路から特徴を融合させることにより、顔の構造の整合性と顔の詳細の忠実度が強化される。
  論文  参考訳（メタデータ） (2020-10-22T10:09:31Z)
• DotFAN: A Domain-transferred Face Augmentation Network for Pose and Illumination Invariant Face Recognition [94.96686189033869]
  本稿では,3次元モデルを用いたドメイン転送型顔強調ネットワーク(DotFAN)を提案する。 DotFANは、他のドメインから収集された既存のリッチフェイスデータセットから抽出された知識に基づいて、入力顔の一連の変種を生成することができる。 実験によると、DotFANは、クラス内の多様性を改善するために、小さな顔データセットを増やすのに有益である。
  論文  参考訳（メタデータ） (2020-02-23T08:16:34Z)
• Exploiting Semantics for Face Image Deblurring [121.44928934662063]
  本稿では,深層畳み込みニューラルネットワークによる意味的手がかりを利用して,効果的かつ効率的な顔分解アルゴリズムを提案する。 顔のセマンティックラベルを入力先として組み込んで,顔の局所構造を正規化するための適応的構造損失を提案する。 提案手法は、より正確な顔の特徴と細部を持つシャープ画像を復元する。
  論文  参考訳（メタデータ） (2020-01-19T13:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。