論文の概要: What makes you, you? Analyzing Recognition by Swapping Face Parts

• arxiv url: http://arxiv.org/abs/2206.11759v1
• Date: Thu, 23 Jun 2022 14:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 14:11:48.747071
• Title: What makes you, you? Analyzing Recognition by Swapping Face Parts
• Title（参考訳）: あなたは何者ですか。 顔部交換による認識分析
• Authors: Claudio Ferrari, Matteo Serpentoni, Stefano Berretti, Alberto Del Bimbo
• Abstract要約: 視覚, 鼻, 口などの異なる顔部位の認識関係を解消する手段として, 顔部位を交換することを提案する。 本手法では,部品間の高密度画素対応性を確立した3D前処理を行うことにより,部品を原面からターゲット面に交換する。 次に、シームレスクローニングを用いて、マッピングされたソース領域と対象の顔の形状と肌のトーンの間のスムーズな遷移を得る。
• 参考スコア（独自算出の注目度）: 25.96441722307888
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning advanced face recognition to an unprecedented accuracy. However, understanding how local parts of the face affect the overall recognition performance is still mostly unclear. Among others, face swap has been experimented to this end, but just for the entire face. In this paper, we propose to swap facial parts as a way to disentangle the recognition relevance of different face parts, like eyes, nose and mouth. In our method, swapping parts from a source face to a target one is performed by fitting a 3D prior, which establishes dense pixels correspondence between parts, while also handling pose differences. Seamless cloning is then used to obtain smooth transitions between the mapped source regions and the shape and skin tone of the target face. We devised an experimental protocol that allowed us to draw some preliminary conclusions when the swapped images are classified by deep networks, indicating a prominence of the eyes and eyebrows region. Code available at https://github.com/clferrari/FacePartsSwap
• Abstract（参考訳）: ディープラーニングは顔認識を前例のない精度に進化させた。 しかし、顔の局所的な部分が全体の認識性能にどのように影響するかは、いまだに不明である。 中でも、顔スワップはこの目的のために実験されてきたが、顔全体のためだけである。 本稿では,目,鼻,口などの異なる顔部位の認識関係を解消する手段として,顔部品の交換を提案する。 本方法では、3dプリファレンスを嵌合させてソース面からターゲット面への部品交換を行い、部品間の密な画素対応を確立しつつポーズの差異も処理する。 次にシームレスなクローニングを行い、マッピングされたソース領域と対象の顔の形状と肌色の間のスムーズな遷移を得る。 画像が深層ネットワークで分類された場合の予備的な結論を導出する実験プロトコルを考案し,目とまぶた領域の隆起を示唆した。 https://github.com/clferrari/FacePartsSwapで利用可能なコード

関連論文リスト

• Towards mitigating uncann(eye)ness in face swaps via gaze-centric loss terms [4.814908894876767]
  顔スワップアルゴリズムは、トレーニングプロセスのガイドとなる顔全体を考えるピクセルや特徴の一致した損失に頼って、目に重点を置いていない。 本稿では,視線推定ネットワークを利用した顔交換モデルのトレーニングのための新しい損失方程式を提案する。 本研究は, デジタルアバター, プライバシ機構など, 特殊効果の顔交換に影響を及ぼす。
  論文  参考訳（メタデータ） (2024-02-05T16:53:54Z)
• ReliableSwap: Boosting General Face Swapping Via Reliable Supervision [9.725105108879717]
  本稿では,訓練中に対象とソースの同一性が異なる場合のイメージレベルのガイダンスとして機能する,サイクルトリプレットと呼ばれる信頼性の高い監視機能を構築することを提案する。 具体的には,顔の再現とブレンディング技術を用いて,前もって実際の画像からスワップされた顔の合成を行う。 フェーススワッピングフレームワークであるReliableSwapは、既存のフェースワップネットワークの性能を無視できるオーバーヘッドで向上させることができる。
  論文  参考訳（メタデータ） (2023-06-08T17:01:14Z)
• Introducing Explicit Gaze Constraints to Face Swapping [1.9386396954290932]
  顔交換は、一方の顔のアイデンティティと他方の顔の非外観属性を組み合わせることで、合成顔を生成する。 顔全体を考慮した画像に基づく損失測定は、知覚的に重要で空間的に小さい眼領域を効果的に捉えていない。 本稿では、視線予測を利用してトレーニング中に顔スワップモデルに通知し、既存の方法と比較する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:12:08Z)
• Face Transformer: Towards High Fidelity and Accurate Face Swapping [54.737909435708936]
  Face swappingは、ソース顔の同一性とターゲット顔の属性を融合させるスワップ画像を生成することを目的としている。 本稿では,顔の同一性と対象属性を同時に正確に保存できる新しい顔交換ネットワークであるFace Transformerを提案する。
  論文  参考訳（メタデータ） (2023-04-05T15:51:44Z)
• FlowFace: Semantic Flow-guided Shape-aware Face Swapping [43.166181219154936]
  本稿では,形状認識型顔交換のためのセマンティックフロー誘導2段階フレームワークであるFlowFaceを提案する。 FlowFaceは、フェイスリフォームネットワークとフェイススワップネットワークで構成されています。 我々は、訓練済みの顔マスク付きオートエンコーダを用いて、顔と顔の両方から顔の特徴を抽出する。
  論文  参考訳（メタデータ） (2022-12-06T07:23:39Z)
• Human Face Recognition from Part of a Facial Image based on Image Stitching [0.0]
  現在の顔認識技術のほとんどは、認識される人物の完全な顔の存在を必要とする。 そこで本研究では,欠損部を画像に示す部分のフリップで縫合する工程を採用した。 ここで適用された顔認識アルゴリズムは固有顔と幾何学的手法である。
  論文  参考訳（メタデータ） (2022-03-10T19:31:57Z)
• HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping [116.1022638063613]
  本研究では,光源面の顔形状を保存し,写真リアルな結果を生成できるHifiFaceを提案する。 本稿では,エンコーダとデコーダの組み合わせを最適化するSemantic Facial Fusionモジュールを提案する。
  論文  参考訳（メタデータ） (2021-06-18T07:39:09Z)
• Robust Face-Swap Detection Based on 3D Facial Shape Information [59.32489266682952]
  顔のスワップ画像やビデオは、悪意ある攻撃者を惹きつけ、重要な人物の信用を損ねている。 以前のピクセルレベルのアーティファクトに基づく検出技術は、常に不明瞭なパターンにフォーカスするが、利用可能なセマンティックなヒントは無視する。 キーフィギュアの顔・スワップ検出のための外観・形状特徴をフル活用するための生体情報に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-04-28T09:35:48Z)
• Face Forgery Detection by 3D Decomposition [72.22610063489248]
  顔画像は、基礎となる3次元幾何学と照明環境の介入の産物とみなす。 顔画像を3次元形状、共通テクスチャ、アイデンティティテクスチャ、周囲光、そして直接光に切り離すことで、悪魔は直接光とアイデンティティテクスチャの中に横たわる。 直接光と識別テクスチャを組み合わせた顔のディテールを,微妙な偽造パターンを検出する手がかりとして活用することを提案する。
  論文  参考訳（メタデータ） (2020-11-19T09:25:44Z)
• DeepFake Detection Based on the Discrepancy Between the Face and its Context [94.47879216590813]
  単一画像における顔のスワップやその他のアイデンティティ操作を検出する手法を提案する。 提案手法は, (i) 厳密なセマンティックセグメンテーションによって境界付けられた顔領域を考慮した顔識別ネットワークと, (ii) 顔コンテキストを考慮したコンテキスト認識ネットワークの2つのネットワークを含む。 本稿では,2つのネットワークからの認識信号を用いて,そのような不一致を検出する手法について述べる。 提案手法は,FaceForensics++,Celeb-DF-v2,DFDCベンチマークを用いて顔検出を行い,未知の手法で生成した偽物の検出を一般化する。
  論文  参考訳（メタデータ） (2020-08-27T17:04:46Z)
• Face Super-Resolution Guided by 3D Facial Priors [92.23902886737832]
  シャープな顔構造を把握した3次元顔先行情報を明示的に組み込んだ新しい顔超解像法を提案する。 我々の研究は、顔属性のパラメトリック記述の融合に基づく3次元形態的知識を初めて探求したものである。 提案した3D先行画像は、最先端技術よりも優れた顔超解像結果が得られる。
  論文  参考訳（メタデータ） (2020-07-18T15:26:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。