論文の概要: LibreFace: An Open-Source Toolkit for Deep Facial Expression Analysis
- arxiv url: http://arxiv.org/abs/2308.10713v2
- Date: Thu, 24 Aug 2023 03:46:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-28 16:31:47.334733
- Title: LibreFace: An Open-Source Toolkit for Deep Facial Expression Analysis
- Title(参考訳): LibreFace: 深層表情解析のためのオープンソースツールキット
- Authors: Di Chang, Yufeng Yin, Zongjian Li, Minh Tran, Mohammad Soleymani
- Abstract要約: 表情解析のためのオープンソースのツールキットLibreFaceを紹介する。
ディープラーニングモデルによる顔の動作のリアルタイムおよびオフライン分析を提供する。
また,本モデルでは,最先端の表情解析手法と競合する性能を示す。
- 参考スコア(独自算出の注目度): 7.185007035384591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Facial expression analysis is an important tool for human-computer
interaction. In this paper, we introduce LibreFace, an open-source toolkit for
facial expression analysis. This open-source toolbox offers real-time and
offline analysis of facial behavior through deep learning models, including
facial action unit (AU) detection, AU intensity estimation, and facial
expression recognition. To accomplish this, we employ several techniques,
including the utilization of a large-scale pre-trained network, feature-wise
knowledge distillation, and task-specific fine-tuning. These approaches are
designed to effectively and accurately analyze facial expressions by leveraging
visual information, thereby facilitating the implementation of real-time
interactive applications. In terms of Action Unit (AU) intensity estimation, we
achieve a Pearson Correlation Coefficient (PCC) of 0.63 on DISFA, which is 7%
higher than the performance of OpenFace 2.0 while maintaining highly-efficient
inference that runs two times faster than OpenFace 2.0. Despite being compact,
our model also demonstrates competitive performance to state-of-the-art facial
expression analysis methods on AffecNet, FFHQ, and RAF-DB. Our code will be
released at https://github.com/ihp-lab/LibreFace
- Abstract(参考訳): 表情解析は人間とコンピュータの相互作用にとって重要なツールである。
本稿では,表情解析のためのオープンソースのツールキットLibreFaceを紹介する。
このオープンソースのツールボックスは、顔認識ユニット(AU)検出、AU強度推定、表情認識など、ディープラーニングモデルによる顔の動作のリアルタイムおよびオフライン分析を提供する。
これを実現するために, 大規模事前学習ネットワークの利用, 機能的知識蒸留, タスク固有の微調整など, 様々な手法を応用した。
これらの手法は,視覚情報を利用して表情を効果的かつ正確に分析し,リアルタイム対話型アプリケーションの実装を容易にする。
動作単位(au)の強度推定では、openface 2.0の性能よりも7%高いdisfa上のパーソン相関係数(pcc) 0.63 を達成し、openface 2.0よりも2倍高速に動作する高い効率の推論を維持した。
コンパクトであるにもかかわらず,AffecNet,FFHQ,RAF-DB上での最先端の表情解析手法と競合する性能を示す。
私たちのコードはhttps://github.com/ihp-lab/LibreFaceでリリースされます。
関連論文リスト
- A Generalist FaceX via Learning Unified Facial Representation [77.74407008931486]
FaceXは、多様な顔タスクを同時に処理できる新しい顔ジェネラリストモデルである。
汎用的なFaceXは、一般的な顔編集タスクの精巧なタスク特化モデルと比較して、競争性能が向上する。
論文 参考訳(メタデータ) (2023-12-31T17:41:48Z) - Toward High Quality Facial Representation Learning [58.873356953627614]
我々はMask Contrastive Face (MCF)と呼ばれる自己教師型事前学習フレームワークを提案する。
トレーニング済みの視覚バックボーンの特徴マップを監視項目として使用し、マスク画像モデリングに部分的にトレーニング済みのデコーダを使用する。
このモデルはAFLW-19顔アライメントの0.932 NME_diag$とLaPa顔解析の93.96 F1スコアを達成する。
論文 参考訳(メタデータ) (2023-09-07T09:11:49Z) - SwinFace: A Multi-task Transformer for Face Recognition, Expression
Recognition, Age Estimation and Attribute Estimation [60.94239810407917]
本論文では,単一スウィントランスを用いた顔認識,表情認識,年齢推定,顔属性推定のための多目的アルゴリズムを提案する。
複数のタスク間の競合に対処するため、マルチレベルチャネル注意(MLCA)モジュールをタスク固有の分析に統合する。
実験の結果,提案したモデルでは顔の理解が良く,全てのタスクにおいて優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-08-22T15:38:39Z) - Frame-level Prediction of Facial Expressions, Valence, Arousal and
Action Units for Mobile Devices [7.056222499095849]
本稿では,AffectNetで事前学習した1つのEfficientNetモデルを用いて,顔の特徴を抽出し,フレームレベルの感情認識アルゴリズムを提案する。
当社のアプローチは,モバイルデバイス上でのビデオ解析にも適用できる。
論文 参考訳(メタデータ) (2022-03-25T03:53:27Z) - AFFDEX 2.0: A Real-Time Facial Expression Analysis Toolkit [1.076535942003539]
AFFDEX 2.0は、野生の表情を解析するためのツールキットである。
3Dヘッドのポーズを推定し、顔のアクションユニット(AU)を検出し、基本的な感情と2つの新しい感情状態(感覚と混乱)を認識する。
AFFDEX 2.0はリアルタイムで複数の顔を処理することができ、WindowsとLinuxプラットフォームで動作している。
論文 参考訳(メタデータ) (2022-02-24T12:27:49Z) - FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in
the Wild [50.8865921538953]
年齢推定に顔のセマンティクスを明示的に組み込む手法を提案する。
我々は,顔解析に基づくネットワークを設計し,異なるスケールで意味情報を学習する。
提案手法は,既存の年齢推定手法を常に上回っていることを示す。
論文 参考訳(メタデータ) (2021-06-21T14:31:32Z) - Py-Feat: Python Facial Expression Analysis Toolbox [0.0]
Py-FeatはオープンソースのPythonツールボックスで、顔の表情データの検出、前処理、分析、視覚化をサポートする。
このプラットフォームが、人間の行動研究における表情データの利用を増やすことを願っている。
論文 参考訳(メタデータ) (2021-04-08T04:52:21Z) - A Multi-resolution Approach to Expression Recognition in the Wild [9.118706387430883]
顔認識タスクを解決するためのマルチリゾリューション手法を提案する。
私たちは、しばしば異なる解像度で画像が取得されるという観察を直感的に根拠としています。
我々は、Affect-in-the-Wild 2データセットに基づいてトレーニングされたSqueeze-and-Excitationブロックを備えたResNetのようなアーキテクチャを使用する。
論文 参考訳(メタデータ) (2021-03-09T21:21:02Z) - Unsupervised Learning Facial Parameter Regressor for Action Unit
Intensity Estimation via Differentiable Renderer [51.926868759681014]
骨駆動型顔モデル(BDFM)に基づいて,異なる視点で顔パラメータを予測する枠組みを提案する。
提案するフレームワークは,特徴抽出器,ジェネレータ,顔パラメータ回帰器から構成される。
論文 参考訳(メタデータ) (2020-08-20T09:49:13Z) - Learning to Augment Expressions for Few-shot Fine-grained Facial
Expression Recognition [98.83578105374535]
顔表情データベースF2EDについて述べる。
顔の表情は119人から54人まで、200万枚以上の画像が含まれている。
実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。
顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
論文 参考訳(メタデータ) (2020-01-17T03:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。