論文の概要: LibreFace: An Open-Source Toolkit for Deep Facial Expression Analysis

• arxiv url: http://arxiv.org/abs/2308.10713v2
• Date: Thu, 24 Aug 2023 03:46:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 16:31:47.334733
• Title: LibreFace: An Open-Source Toolkit for Deep Facial Expression Analysis
• Title（参考訳）: LibreFace: 深層表情解析のためのオープンソースツールキット
• Authors: Di Chang, Yufeng Yin, Zongjian Li, Minh Tran, Mohammad Soleymani
• Abstract要約: 表情解析のためのオープンソースのツールキットLibreFaceを紹介する。 ディープラーニングモデルによる顔の動作のリアルタイムおよびオフライン分析を提供する。 また,本モデルでは,最先端の表情解析手法と競合する性能を示す。
• 参考スコア（独自算出の注目度）: 7.185007035384591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Facial expression analysis is an important tool for human-computer interaction. In this paper, we introduce LibreFace, an open-source toolkit for facial expression analysis. This open-source toolbox offers real-time and offline analysis of facial behavior through deep learning models, including facial action unit (AU) detection, AU intensity estimation, and facial expression recognition. To accomplish this, we employ several techniques, including the utilization of a large-scale pre-trained network, feature-wise knowledge distillation, and task-specific fine-tuning. These approaches are designed to effectively and accurately analyze facial expressions by leveraging visual information, thereby facilitating the implementation of real-time interactive applications. In terms of Action Unit (AU) intensity estimation, we achieve a Pearson Correlation Coefficient (PCC) of 0.63 on DISFA, which is 7% higher than the performance of OpenFace 2.0 while maintaining highly-efficient inference that runs two times faster than OpenFace 2.0. Despite being compact, our model also demonstrates competitive performance to state-of-the-art facial expression analysis methods on AffecNet, FFHQ, and RAF-DB. Our code will be released at https://github.com/ihp-lab/LibreFace
• Abstract（参考訳）: 表情解析は人間とコンピュータの相互作用にとって重要なツールである。 本稿では,表情解析のためのオープンソースのツールキットLibreFaceを紹介する。 このオープンソースのツールボックスは、顔認識ユニット(AU)検出、AU強度推定、表情認識など、ディープラーニングモデルによる顔の動作のリアルタイムおよびオフライン分析を提供する。 これを実現するために, 大規模事前学習ネットワークの利用, 機能的知識蒸留, タスク固有の微調整など, 様々な手法を応用した。 これらの手法は,視覚情報を利用して表情を効果的かつ正確に分析し,リアルタイム対話型アプリケーションの実装を容易にする。 動作単位(au)の強度推定では、openface 2.0の性能よりも7%高いdisfa上のパーソン相関係数(pcc) 0.63 を達成し、openface 2.0よりも2倍高速に動作する高い効率の推論を維持した。 コンパクトであるにもかかわらず,AffecNet,FFHQ,RAF-DB上での最先端の表情解析手法と競合する性能を示す。 私たちのコードはhttps://github.com/ihp-lab/LibreFaceでリリースされます。

関連論文リスト

• UniLearn: Enhancing Dynamic Facial Expression Recognition through Unified Pre-Training and Fine-Tuning on Images and Videos [83.48170683672427]
  UniLearnは、静的表情認識データを統合してDFERタスクを強化する統一学習パラダイムである。 UniLearnは、FERV39K、MAFW、DFEWのベンチマークにおいて、それぞれ53.65%、58.44%、76.68%の重み付き平均リコール(WAR)で常に最先端のパフォーマンスを保っている。
  論文  参考訳（メタデータ） (2024-09-10T01:57:57Z)
• Task-adaptive Q-Face [75.15668556061772]
  本稿では,タスク適応型マルチタスク顔分析手法Q-Faceを提案する。 Q-Faceは統合されたモデルで複数の顔分析タスクを同時に実行する。 本手法は,顔表情認識,行動単位検出,顔属性分析,年齢推定,顔ポーズ推定における最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-05-15T03:13:11Z)
• A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
  自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。 自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。 自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:34:05Z)
• SwinFace: A Multi-task Transformer for Face Recognition, Expression Recognition, Age Estimation and Attribute Estimation [60.94239810407917]
  本論文では,単一スウィントランスを用いた顔認識,表情認識,年齢推定,顔属性推定のための多目的アルゴリズムを提案する。 複数のタスク間の競合に対処するため、マルチレベルチャネル注意(MLCA)モジュールをタスク固有の分析に統合する。 実験の結果,提案したモデルでは顔の理解が良く,全てのタスクにおいて優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2023-08-22T15:38:39Z)
• Frame-level Prediction of Facial Expressions, Valence, Arousal and Action Units for Mobile Devices [7.056222499095849]
  本稿では,AffectNetで事前学習した1つのEfficientNetモデルを用いて,顔の特徴を抽出し,フレームレベルの感情認識アルゴリズムを提案する。 当社のアプローチは,モバイルデバイス上でのビデオ解析にも適用できる。
  論文  参考訳（メタデータ） (2022-03-25T03:53:27Z)
• AFFDEX 2.0: A Real-Time Facial Expression Analysis Toolkit [1.076535942003539]
  AFFDEX 2.0は、野生の表情を解析するためのツールキットである。 3Dヘッドのポーズを推定し、顔のアクションユニット(AU)を検出し、基本的な感情と2つの新しい感情状態(感覚と混乱)を認識する。 AFFDEX 2.0はリアルタイムで複数の顔を処理することができ、WindowsとLinuxプラットフォームで動作している。
  論文  参考訳（メタデータ） (2022-02-24T12:27:49Z)
• FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in the Wild [50.8865921538953]
  年齢推定に顔のセマンティクスを明示的に組み込む手法を提案する。 我々は,顔解析に基づくネットワークを設計し,異なるスケールで意味情報を学習する。 提案手法は,既存の年齢推定手法を常に上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-21T14:31:32Z)
• A Multi-resolution Approach to Expression Recognition in the Wild [9.118706387430883]
  顔認識タスクを解決するためのマルチリゾリューション手法を提案する。 私たちは、しばしば異なる解像度で画像が取得されるという観察を直感的に根拠としています。 我々は、Affect-in-the-Wild 2データセットに基づいてトレーニングされたSqueeze-and-Excitationブロックを備えたResNetのようなアーキテクチャを使用する。
  論文  参考訳（メタデータ） (2021-03-09T21:21:02Z)
• Unsupervised Learning Facial Parameter Regressor for Action Unit Intensity Estimation via Differentiable Renderer [51.926868759681014]
  骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。 提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
  論文  参考訳（メタデータ） (2020-08-20T09:49:13Z)
• Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition [98.83578105374535]
  顔表情データベースF2EDについて述べる。 顔の表情は119人から54人まで、200万枚以上の画像が含まれている。 実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。 顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
  論文  参考訳（メタデータ） (2020-01-17T03:26:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。