論文の概要: DFEW: A Large-Scale Database for Recognizing Dynamic Facial Expressions
in the Wild
- arxiv url: http://arxiv.org/abs/2008.05924v1
- Date: Thu, 13 Aug 2020 14:10:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-30 23:49:18.345669
- Title: DFEW: A Large-Scale Database for Recognizing Dynamic Facial Expressions
in the Wild
- Title(参考訳): DFEW:野生における動的表情認識のための大規模データベース
- Authors: Xingxun Jiang, Yuan Zong, Wenming Zheng, Chuangao Tang, Wanchuang Xia,
Cheng Lu, Jiateng Liu
- Abstract要約: そこで我々は,数千本の映画から16,000本以上のビデオクリップを収録した大規模動的表情データベースDFEWを提案する。
次に,表現クラスタ化時空間特徴学習フレームワークを提案する。
第3に、提案したEC-STFLと同様に、多くの深い特徴学習手法を用いて、DFEWの広範なベンチマーク実験を行う。
- 参考スコア(独自算出の注目度): 22.305429904593126
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, facial expression recognition (FER) in the wild has gained a lot of
researchers' attention because it is a valuable topic to enable the FER
techniques to move from the laboratory to the real applications. In this paper,
we focus on this challenging but interesting topic and make contributions from
three aspects. First, we present a new large-scale 'in-the-wild' dynamic facial
expression database, DFEW (Dynamic Facial Expression in the Wild), consisting
of over 16,000 video clips from thousands of movies. These video clips contain
various challenging interferences in practical scenarios such as extreme
illumination, occlusions, and capricious pose changes. Second, we propose a
novel method called Expression-Clustered Spatiotemporal Feature Learning
(EC-STFL) framework to deal with dynamic FER in the wild. Third, we conduct
extensive benchmark experiments on DFEW using a lot of spatiotemporal deep
feature learning methods as well as our proposed EC-STFL. Experimental results
show that DFEW is a well-designed and challenging database, and the proposed
EC-STFL can promisingly improve the performance of existing spatiotemporal deep
neural networks in coping with the problem of dynamic FER in the wild. Our DFEW
database is publicly available and can be freely downloaded from
https://dfew-dataset.github.io/.
- Abstract(参考訳): 近年,fer技術が実験室から実際の応用へ移行する上で重要な話題であるため,野生の表情認識(fer)が研究者の注目を集めている。
本稿では,この挑戦的かつ興味深いトピックに注目し,3つの側面から貢献する。
まず,数千本の映画から16,000本以上のビデオクリップを収録した大規模動的表情データベースDFEW(Dynamic Facial Expression in the Wild)を提案する。
これらのビデオクリップには、極端な照明、オクルージョン、気まぐれなポーズの変化など、現実的なシナリオにおける様々な困難な干渉が含まれている。
第2に, 動的ferを扱うための表現クラスタリング型時空間特徴学習(ec-stfl)フレームワークを提案する。
第3に,多くの時空間深部特徴学習法と提案したEC-STFLを用いたDFEWのベンチマーク実験を行った。
実験の結果,dfewは設計が容易で挑戦的なデータベースであり,提案するec-stflは野生の動的fer問題に対処することで,既存の時空間的深層ニューラルネットワークの性能を有望に向上させることができることがわかった。
我々のDFEWデータベースは公開されており、https://dfew-dataset.github.io/から無料でダウンロードできる。
関連論文リスト
- DoraemonGPT: Toward Understanding Dynamic Scenes with Large Language
Models [78.43468551763303]
我々は,動的ビデオタスクを扱うLLMによって駆動される包括的かつ概念的にエレガントなシステムであるドラモンGPTを考案した。
質問/タスクのあるビデオが与えられた場合、DoraemonGPTは入力されたビデオをタスク関連の属性を格納するシンボリックメモリに変換することから始める。
3つのベンチマークでDoraemonGPTの有効性を広く評価した。
論文 参考訳(メタデータ) (2024-01-16T14:33:09Z) - From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial
Expression Recognition in Videos [94.49851812388061]
野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。
抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
論文 参考訳(メタデータ) (2023-12-09T03:16:09Z) - Pre-training Contextualized World Models with In-the-wild Videos for
Reinforcement Learning [54.67880602409801]
本稿では,視覚制御タスクの学習を効率的に行うために,Wild 動画を多用した事前学習型世界モデルの課題について検討する。
本稿では、コンテキストと動的モデリングを明確に分離したContextualized World Models(ContextWM)を紹介する。
実験により,ContextWMを内蔵したWildビデオ事前学習は,モデルベース強化学習のサンプル効率を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-05-29T14:29:12Z) - SDFE-LV: A Large-Scale, Multi-Source, and Unconstrained Database for
Spotting Dynamic Facial Expressions in Long Videos [21.7199719907133]
SDFE-LVは1,191本の長ビデオで構成され、それぞれが1つ以上の完全な動的表情を含む。
対応する長ビデオにおける表情の完全な動的表現は、順調に訓練された10のアノテータによって5回独立にラベル付けされた。
論文 参考訳(メタデータ) (2022-09-18T01:59:12Z) - Learning Vision Transformer with Squeeze and Excitation for Facial
Expression Recognition [10.256620178727884]
我々は、FERタスクのためのSqueeze and Excitation(SE)ブロックと共同で視覚変換器を学ぶことを提案する。
提案手法は、CK+, JAFFE,RAF-DB, SFEWなど、利用可能なさまざまなFERデータベース上で評価される。
実験により,本モデルはCK+およびSFEWの最先端手法より優れていることが示された。
論文 参考訳(メタデータ) (2021-07-07T09:49:01Z) - Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional
Architectures in a Contextual Approach for Video-Based Visual Emotion
Recognition in the Wild [31.40575057347465]
私たちは、野生のビデオベースの視覚感情認識のタスクに取り組みます。
身体および顔の特徴の抽出のみに依存する標準的な方法論は、しばしば正確な感情予測に欠ける。
我々は、シーンの特徴や属性の形で視覚的コンテキストを活用することで、この問題を軽減することを目指している。
論文 参考訳(メタデータ) (2021-05-16T17:31:59Z) - Robust Facial Expression Recognition with Convolutional Visual
Transformers [23.05378099875569]
コンボリューションビジュアルトランスフォーマーは、主に2つのステップで野生の表情認識に取り組むために提案します。
まず,2分岐CNNが生成する特徴マップを活用するための注意選択融合(ASF)を提案する。
第二に,自然言語処理におけるトランスフォーマーの成功に触発されて,これらの視覚単語間の関係をグローバル自己着眼でモデル化することを提案する。
論文 参考訳(メタデータ) (2021-03-31T07:07:56Z) - Continuous Emotion Recognition with Spatiotemporal Convolutional Neural
Networks [82.54695985117783]
In-theld でキャプチャした長いビデオシーケンスを用いて,持続的な感情認識のための最先端のディープラーニングアーキテクチャの適合性を検討する。
我々は,2D-CNNと長期記憶ユニットを組み合わせた畳み込みリカレントニューラルネットワークと,2D-CNNモデルの微調整時の重みを膨らませて構築した膨らませた3D-CNNモデルを開発した。
論文 参考訳(メタデータ) (2020-11-18T13:42:05Z) - Video-based Facial Expression Recognition using Graph Convolutional
Networks [57.980827038988735]
我々は、ビデオベースの表情認識のための共通のCNN-RNNモデルに、GCN(Graph Convolutional Network)層を導入する。
我々は、CK+、Oulu-CASIA、MMIの3つの広く使われているデータセットと、AFEW8.0の挑戦的なワイルドデータセットについて、本手法の評価を行った。
論文 参考訳(メタデータ) (2020-10-26T07:31:51Z) - Learning to Augment Expressions for Few-shot Fine-grained Facial
Expression Recognition [98.83578105374535]
顔表情データベースF2EDについて述べる。
顔の表情は119人から54人まで、200万枚以上の画像が含まれている。
実世界のシナリオでは,不均一なデータ分布やサンプルの欠如が一般的であるので,数発の表情学習の課題を評価する。
顔画像合成のための統合されたタスク駆動型フレームワークであるComposeal Generative Adversarial Network (Comp-GAN) 学習を提案する。
論文 参考訳(メタデータ) (2020-01-17T03:26:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。