論文の概要: Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer

• arxiv url: http://arxiv.org/abs/2008.08862v1
• Date: Thu, 20 Aug 2020 09:49:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 03:40:47.946007
• Title: Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer
• Title（参考訳）: 微分可能レンダラを用いた動作単位強度推定のための教師なし学習顔面パラメータレグレッサ
• Authors: Xinhui Song, Tianyang Shi, Zunlei Feng, Mingli Song, Jackie Lin, Chuanjie Lin, Changjie Fan, Yi Yuan
• Abstract要約: 骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
• 参考スコア（独自算出の注目度）: 51.926868759681014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial action unit (AU) intensity is an index to describe all visually discernible facial movements. Most existing methods learn intensity estimator with limited AU data, while they lack generalization ability out of the dataset. In this paper, we present a framework to predict the facial parameters (including identity parameters and AU parameters) based on a bone-driven face model (BDFM) under different views. The proposed framework consists of a feature extractor, a generator, and a facial parameter regressor. The regressor can fit the physical meaning parameters of the BDFM from a single face image with the help of the generator, which maps the facial parameters to the game-face images as a differentiable renderer. Besides, identity loss, loopback loss, and adversarial loss can improve the regressive results. Quantitative evaluations are performed on two public databases BP4D and DISFA, which demonstrates that the proposed method can achieve comparable or better performance than the state-of-the-art methods. What's more, the qualitative results also demonstrate the validity of our method in the wild.
• Abstract（参考訳）: 顔動作単位(英: face action unit、au)は、顔の動きを視覚的に識別する指標である。 既存の手法のほとんどは限定されたauデータでインテンシティ推定子を学習するが、データセットから一般化する能力に欠ける。 本稿では,骨駆動型顔モデル(BDFM)に基づいて,顔のパラメータ(識別パラメータやAUパラメータを含む)を予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。 レグレッサは、1つの顔画像からbdfmの物理的意味パラメータをジェネレータの助けを借りて適合させ、顔パラメータをゲーム顔画像に微分可能なレンダラとしてマッピングすることができる。 さらに、アイデンティティ損失、ループバック損失、および敵対的損失は、回帰結果を改善することができる。 bp4d と disfa の2つの公開データベース上で定量的評価を行い,提案手法が最先端手法と同等あるいは良好な性能が得られることを示す。 さらに、質的な結果は、私たちの方法が野生で有効であることを示す。

関連論文リスト

• Towards Fair and Robust Face Parsing for Generative AI: A Multi-Objective Approach [10.00430939898858]
  顔解析における精度,公平性,堅牢性を最適化する多目的学習フレームワークを提案する。 以上の結果から,公平性に配慮したセグメンテーションにより,顔生成におけるフォトリアリズムと一貫性が向上することが示唆された。 以上の結果から,多目的顔解析が人口動態の整合性や頑健性を改善し,高品質なGAN合成を実現することが示唆された。
  論文  参考訳（メタデータ） (2025-02-06T00:41:35Z)
• WEM-GAN: Wavelet transform based facial expression manipulation [2.0918868193463207]
  We propose WEM-GAN, in short for wavelet-based expression operation GAN。 我々はウェーブレット変換技術を利用して、生成器とU-netオートエンコーダのバックボーンを結合する。 我々のモデルは、AffectNetデータセット上でのアイデンティティ機能、編集機能、画像生成品質の保存に優れています。
  論文  参考訳（メタデータ） (2024-12-03T16:23:02Z)
• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• Physically Disentangled Representations [13.234029150635658]
  逆レンダリングは、監督なしで、物理的に歪んだシーンの表現を学ぶために使用することができる。 本稿では,下流クラスタリング,線形分類,セグメンテーションタスクの精度を向上させる学習表現における逆レンダリングの有用性を示す。
  論文  参考訳（メタデータ） (2022-04-11T17:36:40Z)
• The FaceChannel: A Fast & Furious Deep Neural Network for Facial Expression Recognition [71.24825724518847]
  顔の表情の自動認識(FER)の最先端モデルは、非常に深いニューラルネットワークに基づいており、訓練には効果的だがかなり高価である。 私たちは、一般的なディープニューラルネットワークよりもはるかに少ないパラメータを持つ軽量ニューラルネットワークであるFaceChannelを形式化します。 我々は、私たちのモデルがFERの現在の最先端技術に匹敵するパフォーマンスを達成する方法を実証する。
  論文  参考訳（メタデータ） (2020-09-15T09:25:37Z)
• InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs [73.27299786083424]
  我々は、最先端のGANモデルによって学習された不整合顔表現を解釈するInterFaceGANというフレームワークを提案する。 まず、GANは潜在空間の線型部分空間で様々な意味学を学ぶ。 次に、異なる意味論間の相関関係について詳細な研究を行い、部分空間射影を通してそれらをよりよく解離させる。
  論文  参考訳（メタデータ） (2020-05-18T18:01:22Z)
• Multi-Scale Thermal to Visible Face Verification via Attribute Guided Synthesis [55.29770222566124]
  可視画像から抽出した属性を用いて、熱画像から属性保存された可視画像を合成し、クロスモーダルマッチングを行う。 抽出した属性によって導かれる熱画像から可視像を合成するために, 新規なマルチスケールジェネレータを提案する。 事前訓練されたVGG-Faceネットワークを利用して、合成画像と入力可視画像から特徴を抽出し、検証を行う。
  論文  参考訳（メタデータ） (2020-04-20T01:45:05Z)
• Unsupervised Facial Action Unit Intensity Estimation via Differentiable Optimization [45.07851622835555]
  顔画像からの顔AU強度推定のための教師なしフレームワークGE-Netを提案する。 本フレームワークは,入力画像に一致するように顔パラメータを反復的に更新する,微分可能な最適化を行う。 実験により,本手法は既存手法と比較して最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-04-13T12:56:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。