論文の概要: Towards mitigating uncann(eye)ness in face swaps via gaze-centric loss terms

• arxiv url: http://arxiv.org/abs/2402.03188v1
• Date: Mon, 5 Feb 2024 16:53:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 14:41:59.998028
• Title: Towards mitigating uncann(eye)ness in face swaps via gaze-centric loss terms
• Title（参考訳）: 視線中心の損失項による顔スワップにおけるアンカン性軽減に向けて
• Authors: Ethan Wilson, Frederick Shic, Sophie J\"org, Eakta Jain
• Abstract要約: 顔スワップアルゴリズムは、トレーニングプロセスのガイドとなる顔全体を考えるピクセルや特徴の一致した損失に頼って、目に重点を置いていない。 本稿では,視線推定ネットワークを利用した顔交換モデルのトレーニングのための新しい損失方程式を提案する。 本研究は, デジタルアバター, プライバシ機構など, 特殊効果の顔交換に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 4.814908894876767
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Advances in face swapping have enabled the automatic generation of highly realistic faces. Yet face swaps are perceived differently than when looking at real faces, with key differences in viewer behavior surrounding the eyes. Face swapping algorithms generally place no emphasis on the eyes, relying on pixel or feature matching losses that consider the entire face to guide the training process. We further investigate viewer perception of face swaps, focusing our analysis on the presence of an uncanny valley effect. We additionally propose a novel loss equation for the training of face swapping models, leveraging a pretrained gaze estimation network to directly improve representation of the eyes. We confirm that viewed face swaps do elicit uncanny responses from viewers. Our proposed improvements significant reduce viewing angle errors between face swaps and their source material. Our method additionally reduces the prevalence of the eyes as a deciding factor when viewers perform deepfake detection tasks. Our findings have implications on face swapping for special effects, as digital avatars, as privacy mechanisms, and more; negative responses from users could limit effectiveness in said applications. Our gaze improvements are a first step towards alleviating negative viewer perceptions via a targeted approach.
• Abstract（参考訳）: 顔交換の進歩は、非常に現実的な顔の自動生成を可能にした。 しかし、顔のスワップは、実際の顔を見る場合と異なり、目を取り巻く視聴者の行動に重要な違いがある。 顔スワップアルゴリズムは一般的に、顔全体を考慮してトレーニングプロセスを導くピクセルや特徴マッチング損失に依存するため、眼に重点を置きません。 さらに,顔のスワップに対する視聴者の認識について検討し,不気味な谷効果の存在に着目した。 さらに、事前学習した視線推定ネットワークを利用して、顔交換モデルのトレーニングのための新しい損失方程式を提案し、眼の表現を直接改善する。 表示された顔スワップが視聴者から不気味な反応を誘発することを確認した。 提案手法は,顔スワップとその素材間の視角誤差を著しく低減する。 また, 視聴者がディープフェイク検出タスクを行う際の判断要因として, 眼の有病率を減少させる。 我々の発見は、デジタルアバター、プライバシーメカニズムなどの特殊効果のための顔交換に影響を及ぼす。 私たちの視線改善は、ターゲットアプローチによるネガティブな視聴者認識を軽減するための第一歩です。

関連論文リスト

• SymFace: Additional Facial Symmetry Loss for Deep Face Recognition [1.5612101323427952]
  本研究では,顔認証問題における顔対称性の自然現象について検討する。 分割面の2つの出力埋め込みベクトルは、出力埋め込み空間において互いに近接して射影しなければならないことを示す。 この概念に触発されて、対称的な2対の分割面の埋め込みの相違に基づいて、ネットワークをペナルティ化する。
  論文  参考訳（メタデータ） (2024-09-18T09:06:55Z)
• Exploring Decision-based Black-box Attacks on Face Forgery Detection [53.181920529225906]
  顔の偽造生成技術は鮮明な顔を生み出し、セキュリティとプライバシーに対する世間の懸念を高めている。 顔偽造検出は偽の顔の識別に成功しているが、最近の研究では顔偽造検出は敵の例に対して非常に脆弱であることが示されている。
  論文  参考訳（メタデータ） (2023-10-18T14:49:54Z)
• Introducing Explicit Gaze Constraints to Face Swapping [1.9386396954290932]
  顔交換は、一方の顔のアイデンティティと他方の顔の非外観属性を組み合わせることで、合成顔を生成する。 顔全体を考慮した画像に基づく損失測定は、知覚的に重要で空間的に小さい眼領域を効果的に捉えていない。 本稿では、視線予測を利用してトレーニング中に顔スワップモデルに通知し、既存の方法と比較する新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:12:08Z)
• What makes you, you? Analyzing Recognition by Swapping Face Parts [25.96441722307888]
  視覚, 鼻, 口などの異なる顔部位の認識関係を解消する手段として, 顔部位を交換することを提案する。 本手法では,部品間の高密度画素対応性を確立した3D前処理を行うことにより,部品を原面からターゲット面に交換する。 次に、シームレスクローニングを用いて、マッピングされたソース領域と対象の顔の形状と肌のトーンの間のスムーズな遷移を得る。
  論文  参考訳（メタデータ） (2022-06-23T14:59:18Z)
• Restricted Black-box Adversarial Attack Against DeepFake Face Swapping [70.82017781235535]
  本稿では,顔画像偽造モデルに対する問い合わせを一切必要としない現実的な敵攻撃を提案する。 本手法は,顔の再構成を行う代用モデルに基づいて構築され,置換モデルから非アクセス可能なブラックボックスDeepFakeモデルへの逆例を直接転送する。
  論文  参考訳（メタデータ） (2022-04-26T14:36:06Z)
• A new face swap method for image and video domains: a technical report [60.47144478048589]
  FaceShifterアーキテクチャに基づいた新しいフェイススワップパイプラインを導入する。 新しいアイロス機能、超解像ブロック、ガウスベースのフェイスマスク生成は、品質改善につながる。
  論文  参考訳（メタデータ） (2022-02-07T10:15:50Z)
• I Only Have Eyes for You: The Impact of Masks On Convolutional-Based Facial Expression Recognition [78.07239208222599]
  今回提案したFaceChannelがマスクを持つ人からの表情認識にどのように適応するかを評価します。 また、制約された社会的相互作用シナリオにおける顔の特徴の変化を学習し、組み合わせるためのFaceChannelの本質的な能力を示すために、特定の機能レベルの可視化も行います。
  論文  参考訳（メタデータ） (2021-04-16T20:03:30Z)
• Facial Expressions as a Vulnerability in Face Recognition [73.85525896663371]
  本研究では,顔認識システムのセキュリティ脆弱性としての表情バイアスについて検討する。 本稿では,表情バイアスが顔認識技術の性能に与える影響を包括的に分析する。
  論文  参考訳（メタデータ） (2020-11-17T18:12:41Z)
• It's Written All Over Your Face: Full-Face Appearance-Based Gaze Estimation [82.16380486281108]
  顔の全体像のみを入力とする外観に基づく手法を提案する。 本手法は,特徴写像に空間重みを印加した畳み込みニューラルネットワークを用いて顔画像の符号化を行う。 本手法は2次元視線と3次元視線の両方で技量を有意に上回ることを示す。
  論文  参考訳（メタデータ） (2016-11-27T15:00:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。