論文の概要: PERI: Part Aware Emotion Recognition In The Wild
- arxiv url: http://arxiv.org/abs/2210.10130v1
- Date: Tue, 18 Oct 2022 20:01:40 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-20 14:27:47.529063
- Title: PERI: Part Aware Emotion Recognition In The Wild
- Title（参考訳）: PERI: 野生での感情認識を意識する部分
- Authors: Akshita Mittel and Shashank Tripathi
- Abstract要約: 本稿では視覚的特徴を用いた感情認識に焦点を当てる。
身体のポーズと顔のランドマークの両方から生成されたマスクを用いて、入力画像からキー領域を抽出し、部分認識空間(PAS)画像を作成する。
野生のEMOTICデータセットで公開されている結果について報告する。
- 参考スコア（独自算出の注目度）: 4.206175795966693
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emotion recognition aims to interpret the emotional states of a person based
on various inputs including audio, visual, and textual cues. This paper focuses
on emotion recognition using visual features. To leverage the correlation
between facial expression and the emotional state of a person, pioneering
methods rely primarily on facial features. However, facial features are often
unreliable in natural unconstrained scenarios, such as in crowded scenes, as
the face lacks pixel resolution and contains artifacts due to occlusion and
blur. To address this, in the wild emotion recognition exploits full-body
person crops as well as the surrounding scene context. In a bid to use body
pose for emotion recognition, such methods fail to realize the potential that
facial expressions, when available, offer. Thus, the aim of this paper is
two-fold. First, we demonstrate our method, PERI, to leverage both body pose
and facial landmarks. We create part aware spatial (PAS) images by extracting
key regions from the input image using a mask generated from both body pose and
facial landmarks. This allows us to exploit body pose in addition to facial
context whenever available. Second, to reason from the PAS images, we introduce
context infusion (Cont-In) blocks. These blocks attend to part-specific
information, and pass them onto the intermediate features of an emotion
recognition network. Our approach is conceptually simple and can be applied to
any existing emotion recognition method. We provide our results on the publicly
available in the wild EMOTIC dataset. Compared to existing methods, PERI
achieves superior performance and leads to significant improvements in the mAP
of emotion categories, while decreasing Valence, Arousal and Dominance errors.
Importantly, we observe that our method improves performance in both images
with fully visible faces as well as in images with occluded or blurred faces.
- Abstract（参考訳）: 感情認識は、音声、視覚、テキストなど様々な入力に基づいて人の感情状態を解釈することを目的としている。
本稿では視覚的特徴を用いた感情認識に焦点を当てる。
表情と人の感情状態の相関性を活用するために、先駆的な手法は主に顔の特徴に依存する。
しかし、顔にはピクセル解像度がなく、隠蔽やぼやけによるアーチファクトが含まれているため、混雑したシーンのような自然の制約のないシナリオでは、顔の特徴は信頼できないことが多い。
これを解決するために、ワイルドな感情認識では、周囲のシーンコンテキストと同様に、全身の人間作物を利用する。
感情認識にボディーポーズを使用する場合、このような方法は、顔の表情が、可能であれば提供される可能性に気付かない。
したがって,本論文の目的は2つある。
まず,身体のポーズと顔のランドマークを両立させる方法であるperを実証する。
身体ポーズと顔のランドマークの両方から生成されたマスクを用いて入力画像からキー領域を抽出し,部分認識空間(PAS)画像を作成する。
これにより、いつでも顔のコンテキストに加えて、身体のポーズを活用できます。
次に、pasイメージから推論するために、コンテキスト注入(cont-in)ブロックを導入する。
これらのブロックは、部分固有の情報に参加し、感情認識ネットワークの中間的特徴に渡す。
提案手法は概念的に単純であり,既存の感情認識手法にも適用できる。
野生のEMOTICデータセットで公開されている結果について報告する。
既存の手法と比較して、PERIは優れたパフォーマンスを達成し、感情カテゴリーのmAPを大幅に改善し、Valence、Arousal、Dominanceエラーを減少させる。
重要なことに,本手法は,顔が完全に見えている画像と,顔がぼやけている画像の両方のパフォーマンスを向上させる。
関連論文リスト
- Knowledge-Enhanced Facial Expression Recognition with Emotional-to-Neutral Transformation [66.53435569574135]
既存の表情認識法は、通常、個別のラベルを使って訓練済みのビジュアルエンコーダを微調整する。
視覚言語モデルによって生成されるテキスト埋め込みの豊富な知識は、識別的表情表現を学ぶための有望な代替手段である。
感情-中性変換を用いた知識強化FER法を提案する。
論文 参考訳（メタデータ） (2024-09-13T07:28:57Z) - High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
画像から高レベルな文脈表現を抽出する手法を提案する。
このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。
我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
論文 参考訳（メタデータ） (2023-05-05T13:20:41Z) - Interpretable Explainability in Facial Emotion Recognition and
Gamification for Data Collection [0.0]
顔の感情認識モデルを訓練するには、大量のデータと高価なアノテーションプロセスが必要である。
我々は,人間の明示的なラベル付けを行なわずに,注釈付き顔感情データを取得するゲーミフィケーション手法を開発した。
プレイヤーの表情認知能力と表情能力は,繰り返しゲームプレイによって著しく向上した。
論文 参考訳（メタデータ） (2022-11-09T09:53:48Z) - Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers [57.1091606948826]
我々はこれらの課題に対処するため,ポーカー・フェイス・ビジョン・トランスフォーマー (PF-ViT) と呼ばれる新しいFERモデルを提案する。
PF-ViTは、対応するポーカーフェースを生成して、乱れを認識できない感情を静的な顔画像から分離し、認識することを目的としている。
PF-ViTはバニラビジョントランスフォーマーを使用し、そのコンポーネントは大規模な表情データセット上でMasked Autoencodeerとして事前トレーニングされている。
論文 参考訳（メタデータ） (2022-07-22T13:39:06Z) - EMOCA: Emotion Driven Monocular Face Capture and Animation [59.15004328155593]
本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
論文 参考訳（メタデータ） (2022-04-24T15:58:35Z) - Neural Emotion Director: Speech-preserving semantic control of facial
expressions in "in-the-wild" videos [31.746152261362777]
In-the-wild」ビデオにおいて,アクターの感情状態をリアルに操作するための新しい深層学習手法を提案する。
提案手法は,頭部のポーズや表情から顔のアイデンティティを確実に切り離すことのできる,入力シーンにおけるアクターのパラメトリックな3次元顔表現に基づく。
次に、新しいディープドメイン翻訳フレームワークを使用し、顔の表情を一貫した、そして妥当な方法で変更し、そのダイナミクスを考慮に入れます。
論文 参考訳（メタデータ） (2021-12-01T15:55:04Z) - Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。
提案手法とCAER-Sデータセットの最先端手法を比較した。
論文 参考訳（メタデータ） (2021-11-03T15:08:55Z) - SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。
異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。
また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
論文 参考訳（メタデータ） (2021-10-24T02:41:41Z) - Emotion pattern detection on facial videos using functional statistics [62.997667081978825]
顔面筋運動の有意なパターンを抽出する機能的ANOVAに基づく手法を提案する。
感情群間の表現に時間的差があるかどうかを関数fテストを用いて判定する。
論文 参考訳（メタデータ） (2021-03-01T08:31:08Z) - Emotion Recognition From Gait Analyses: Current Research and Future
Directions [48.93172413752614]
歩行はウォーカーの感情に関する情報を伝える
様々な感情と歩行パターンのマッピングは、感情の自動認識のための新しい情報源を提供する。
歩行は遠隔観察可能で 模倣が困難で 被験者との協力も少ない
論文 参考訳（メタデータ） (2020-03-13T08:22:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。