論文の概要: FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for Blind Face Inpainting

• arxiv url: http://arxiv.org/abs/2108.04424v1
• Date: Tue, 10 Aug 2021 03:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 00:02:43.345033
• Title: FT-TDR: Frequency-guided Transformer and Top-Down Refinement Network for Blind Face Inpainting
• Title（参考訳）: ft-tdr:周波数誘導変圧器およびブラインドフェイスペイント用トップダウンリファインメントネットワーク
• Authors: Junke Wang, Shaoxiang Chen, Zuxuan Wu, Yu-Gang Jiang
• Abstract要約: ブラインド・フェイス・インペインティング(ブラインド・フェイス・インペインティング)とは、顔画像の劣化した領域を明確に示さずに、視覚コンテンツを再構築する作業である。 本稿では、これらの課題に対処するために、周波数誘導変換器とTop-Down Refinement Network(FT-TDR)と呼ばれる新しい2段階ブラインドフェイス塗装法を提案する。
• 参考スコア（独自算出の注目度）: 77.78305705925376
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Blind face inpainting refers to the task of reconstructing visual contents without explicitly indicating the corrupted regions in a face image. Inherently, this task faces two challenges: (1) how to detect various mask patterns of different shapes and contents; (2) how to restore visually plausible and pleasing contents in the masked regions. In this paper, we propose a novel two-stage blind face inpainting method named Frequency-guided Transformer and Top-Down Refinement Network (FT-TDR) to tackle these challenges. Specifically, we first use a transformer-based network to detect the corrupted regions to be inpainted as masks by modeling the relation among different patches. We also exploit the frequency modality as complementary information for improved detection results and capture the local contextual incoherence to enhance boundary consistency. Then a top-down refinement network is proposed to hierarchically restore features at different levels and generate contents that are semantically consistent with the unmasked face regions. Extensive experiments demonstrate that our method outperforms current state-of-the-art blind and non-blind face inpainting methods qualitatively and quantitatively.
• Abstract（参考訳）: ブラインド・フェイス・インペインティング(Blind face Inpainting)とは、顔画像の劣化した領域を明確に示さずに、視覚コンテンツを再構築する作業である。 本課題は,(1)異なる形状や内容の様々なマスクパターンの検出方法,(2)マスク領域における視覚的に妥当で心地よいコンテンツの復元方法,の2つの課題に直面している。 本稿では,この課題に取り組むために,周波数誘導トランスとトップダウンリファインメントネットワーク(ft-tdr)という2段階ブラインドフェースインペインティング手法を提案する。 具体的には、まず、異なるパッチ間の関係をモデル化して、劣化した領域をマスクとして検出するためにトランスフォーマーベースのネットワークを使用する。 また,検出結果の改善のために周波数モダリティを補完的情報として活用し,局所的文脈的不整合を捉え,境界整合性を高める。 次に,階層的に異なるレベルの特徴を復元し,未知の顔領域にセマンティックに整合した内容を生成するために,トップダウンリファインメントネットワークを提案する。 広汎な実験により,本手法は最先端のブラインドおよび非ブラインドフェース塗装法より質的,定量的に優れていることが示された。

関連論文リスト

• DeepFidelity: Perceptual Forgery Fidelity Assessment for Deepfake Detection [67.3143177137102]
  ディープフェイク検出(Deepfake detection)とは、画像やビデオにおいて、人工的に生成された顔や編集された顔を検出すること。 本稿では,実顔と偽顔とを適応的に識別するDeepFidelityという新しいDeepfake検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:19:45Z)
• A Unified Framework for Masked and Mask-Free Face Recognition via Feature Rectification [19.417191498842044]
  マスク付き顔とマスクなし顔の両方を識別するための統合フレームワークである顔特徴整形ネットワーク(FFR-Net)を提案する。 本研究では,最先端認識モデルにより抽出された特徴を,空間次元とチャネル次元の両方で整列するための整列ブロックを導入する。 実験により,我々のフレームワークは,マスク付き顔とマスクなし顔の両方を効果的に認識するための修正された特徴空間を学習できることが示されている。
  論文  参考訳（メタデータ） (2022-02-15T12:37:59Z)
• Diverse facial inpainting guided by exemplars [8.360536784609309]
  本稿では,新しい多彩でインタラクティブな顔インペイントフレームワークEXE-GANを紹介する。 提案手法は, 入力画像のグローバルなスタイル, スタイル, および模範的なスタイルを活用することで, 生成的対向ネットワークに基づく顔の塗装を実現する。 CelebA-HQおよびFFHQデータセットの様々な実験結果と比較を行い,提案手法の優位性を実証した。
  論文  参考訳（メタデータ） (2022-02-13T16:29:45Z)
• TANet: A new Paradigm for Global Face Super-resolution via Transformer-CNN Aggregation Network [72.41798177302175]
  本稿では, 顔構造特徴の表現能力を完全に探求する自己認識機構(すなわち Transformer のコア)に基づく新しいパラダイムを提案する。 具体的には、2つの経路からなるTransformer-CNNアグリゲーションネットワーク(TANet)を設計する。 上記の2つの経路から特徴を集約することにより、グローバルな顔の構造の整合性と局所的な顔のディテール復元の忠実度を同時に強化する。
  論文  参考訳（メタデータ） (2021-09-16T18:15:07Z)
• Detect and Locate: A Face Anti-Manipulation Approach with Semantic and Noise-level Supervision [67.73180660609844]
  本稿では,画像中の偽造顔を効率的に検出する,概念的にシンプルだが効果的な方法を提案する。 提案手法は,画像に関する意味の高い意味情報を提供するセグメンテーションマップに依存する。 提案モデルでは,最先端検出精度と顕著なローカライゼーション性能を実現する。
  論文  参考訳（メタデータ） (2021-07-13T02:59:31Z)
• Image Inpainting by End-to-End Cascaded Refinement with Mask Awareness [66.55719330810547]
  任意の欠落領域を塗りつぶすことは、様々なマスクされた領域で有効な特徴を学ぶことは非自明だから難しい。 符号化フェーズにおける欠落領域のマルチスケール特徴を学習する新しいマスク対応インペイントソリューションを提案する。 私たちのフレームワークは、3つの公開データセットに関する広範な実験を通じて定量的および定性的に検証されます。
  論文  参考訳（メタデータ） (2021-04-28T13:17:47Z)
• DeepFake Detection Based on the Discrepancy Between the Face and its Context [94.47879216590813]
  単一画像における顔のスワップやその他のアイデンティティ操作を検出する手法を提案する。 提案手法は, (i) 厳密なセマンティックセグメンテーションによって境界付けられた顔領域を考慮した顔識別ネットワークと, (ii) 顔コンテキストを考慮したコンテキスト認識ネットワークの2つのネットワークを含む。 本稿では,2つのネットワークからの認識信号を用いて,そのような不一致を検出する手法について述べる。 提案手法は,FaceForensics++,Celeb-DF-v2,DFDCベンチマークを用いて顔検出を行い,未知の手法で生成した偽物の検出を一般化する。
  論文  参考訳（メタデータ） (2020-08-27T17:04:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。