論文の概要: Toward Fine-grained Facial Expression Manipulation

• arxiv url: http://arxiv.org/abs/2004.03132v2
• Date: Fri, 4 Dec 2020 08:19:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 00:17:13.272299
• Title: Toward Fine-grained Facial Expression Manipulation
• Title（参考訳）: きめ細かい表情操作に向けて
• Authors: Jun Ling, Han Xue, Li Song, Shuhui Yang, Rong Xie, Xiao Gu
• Abstract要約: 従来の方法は、個別の感情ラベルまたは絶対条件に基づいて入力画像を編集し、所望の表現を保持する。 連続絶対条件を相対的条件、特に相対的作用単位に置き換える。 相対作用単位を用いて、ジェネレータは、非ゼロ値の相対AUによって指定される関心領域のみを変換することを学ぶ。
• 参考スコア（独自算出の注目度）: 20.226370494178617
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial expression manipulation aims at editing facial expression with a given condition. Previous methods edit an input image under the guidance of a discrete emotion label or absolute condition (e.g., facial action units) to possess the desired expression. However, these methods either suffer from changing condition-irrelevant regions or are inefficient for fine-grained editing. In this study, we take these two objectives into consideration and propose a novel method. First, we replace continuous absolute condition with relative condition, specifically, relative action units. With relative action units, the generator learns to only transform regions of interest which are specified by non-zero-valued relative AUs. Second, our generator is built on U-Net but strengthened by Multi-Scale Feature Fusion (MSF) mechanism for high-quality expression editing purposes. Extensive experiments on both quantitative and qualitative evaluation demonstrate the improvements of our proposed approach compared to the state-of-the-art expression editing methods. Code is available at \url{https://github.com/junleen/Expression-manipulator}.
• Abstract（参考訳）: 表情操作は、所定の条件で表情を編集することを目的としている。 従来の方法は、個別の感情ラベルまたは絶対状態(例えば、顔の動き単位)のガイダンスの下で入力画像を編集し、所望の表現を保持する。 しかし、これらの手法は条件非関連領域の変更に悩まされるか、きめ細かい編集に非効率である。 本研究では,これら2つの目的を考察し,新しい手法を提案する。 まず,連続絶対条件を相対条件,特に相対作用単位に置き換える。 相対作用単位を用いて、生成器は非ゼロ値の相対AUによって指定される関心領域のみを変換することを学ぶ。 第2に、我々のジェネレータはU-Net上に構築されているが、高品質な表現編集のためのマルチスケール特徴融合(MSF)機構によって強化されている。 定量的評価と定性評価の両面での広範囲な実験により,提案手法の改良が示された。 コードは \url{https://github.com/junleen/expression-manipulator} で入手できる。

関連論文リスト

• Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
  既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。 視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。 感情-中性変換を用いた知識強化FER法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T07:28:57Z)
• Towards Localized Fine-Grained Control for Facial Expression Generation [54.82883891478555]
  人間、特にその顔は、豊かな表現と意図を伝える能力のために、コンテンツ生成の中心である。 現在の生成モデルは、主に平らな中立表現と文字なしの笑顔を認証なしで生成する。 顔生成における表情制御におけるAU(アクションユニット)の利用を提案する。
  論文  参考訳（メタデータ） (2024-07-25T18:29:48Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• FEAT: Face Editing with Attention [70.89233432407305]
  StyleGAN ジェネレータ上に構築し,顔の操作を意図した領域に集中させる手法を提案する。 編集された画像の生成中、アテンションマップは、元の特徴と修正された特徴とのブレンドをガイドするマスクとして機能する。
  論文  参考訳（メタデータ） (2022-02-06T06:07:34Z)
• Perceptually Validated Precise Local Editing for Facial Action Units with StyleGAN [3.8149289266694466]
  顔のセマンティックな操作に広く用いられているStyleGANに基づくソリューションを構築した。 そこで本研究では,潜在空間における編集を行うための単純な戦略が,特定のアクションユニット間の不要な結合をもたらすことを示す。 23名の被験者による知覚実験により局所的編集法の有効性を検証した。
  論文  参考訳（メタデータ） (2021-07-26T12:21:37Z)
• Detection and Localization of Facial Expression Manipulations [44.52966548652561]
  本稿では,表情認識と画像操作の密接な組み合わせを用いて,表情の操作を検出できるフレームワークを提案する。 表現操作が豊富であるFace2Faceデータセットでは,操作の分類とローカライゼーションの両方の精度が3%以上向上していることを示す。
  論文  参考訳（メタデータ） (2021-03-15T04:35:56Z)
• S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation [11.724779328025589]
  本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-30T13:42:39Z)
• LEED: Label-Free Expression Editing via Disentanglement [57.09545215087179]
  LEEDフレームワークは、表現ラベルを必要とせずに、前頭顔画像とプロファイル顔画像の両方の表現を編集することができる。 2つの新たな損失は、最適な表現の切り離しと一貫した合成のために設計されている。
  論文  参考訳（メタデータ） (2020-07-17T13:36:15Z)
• Cascade EF-GAN: Progressive Facial Expression Editing with Local Focuses [49.077232276128754]
  本稿では,局所的な表現に焦点を当てたプログレッシブな表情編集を行う新しいネットワークを提案する。 ローカルフォーカスの導入により、Cascade EF-GANはアイデンティティ関連の機能をよりよく保存できる。 さらに, 大規模な顔表情変換を, カスケード内の複数の小さな顔に分割することで, 斬新なカスケード変換戦略を設計する。
  論文  参考訳（メタデータ） (2020-03-12T17:11:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。