論文の概要: Multi-Task Transformer with uncertainty modelling for Face Based Affective Computing

• arxiv url: http://arxiv.org/abs/2208.03506v1
• Date: Sat, 6 Aug 2022 12:25:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:13:42.386097
• Title: Multi-Task Transformer with uncertainty modelling for Face Based Affective Computing
• Title（参考訳）: 顔に基づく影響計算のための不確実性モデリング付きマルチタスクトランス
• Authors: Gauthier Tallec, Jules Bonnard, Arnaud Dapogny, K\'evin Bailly
• Abstract要約: 顔に基づく感情計算は、顔画像から感情を検出する。 本稿では,モーダル,アクション,基本的な感情の予測を共同学習するためのトランスフォーマーに基づくマルチタスク手法を提案する。
• 参考スコア（独自算出の注目度）: 7.09232719022402
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Face based affective computing consists in detecting emotions from face images. It is useful to unlock better automatic comprehension of human behaviours and could pave the way toward improved human-machines interactions. However it comes with the challenging task of designing a computational representation of emotions. So far, emotions have been represented either continuously in the 2D Valence/Arousal space or in a discrete manner with Ekman's 7 basic emotions. Alternatively, Ekman's Facial Action Unit (AU) system have also been used to caracterize emotions using a codebook of unitary muscular activations. ABAW3 and ABAW4 Multi-Task Challenges are the first work to provide a large scale database annotated with those three types of labels. In this paper we present a transformer based multi-task method for jointly learning to predict valence arousal, action units and basic emotions. From an architectural standpoint our method uses a taskwise token approach to efficiently model the similarities between the tasks. From a learning point of view we use an uncertainty weighted loss for modelling the difference of stochasticity between the three tasks annotations.
• Abstract（参考訳）: 顔に基づく感情計算は、顔画像から感情を検出する。 人間の行動のより良い自動理解を解き放ち、人間と機械の相互作用を改善するための道を開くのに役立つ。 しかし、それは感情の計算的表現を設計する難しいタスクが伴う。 これまでのところ、感情は2次元ヴァレンス/オーラル空間で連続的に表現されるか、エクマンの7つの基本的な感情で離散的に表現されている。 あるいは、エクマンの顔行動ユニット(AU)システムは、一元的な筋活動のコードブックを使用して感情を活性化するためにも使われている。 ABAW3とABAW4 マルチタスクチャレンジは、これらの3種類のラベルに注釈を付けた大規模なデータベースを提供する最初の作業である。 本稿では,ヴァレンス覚醒,行動単位,基本的な感情を共同で予測するトランスフォーマティブ型マルチタスク手法を提案する。 アーキテクチャの観点から、我々のメソッドはタスク間の類似性を効率的にモデル化するためにタスクワイズトークンアプローチを使用します。 学習の観点からは、3つのタスクアノテーション間の確率性の差をモデル化するために不確実性重み付き損失を用いる。

関連論文リスト

• MEMO-Bench: A Multiple Benchmark for Text-to-Image and Multimodal Large Language Models on Human Emotion Analysis [53.012111671763776]
  そこで本研究では、7,145枚の肖像画からなる総合的なベンチマークであるMEMO-Benchを紹介した。 以上の結果から,既存のT2Iモデルは負のモデルよりも肯定的な感情を生成するのに効果的であることが示唆された。 MLLMは人間の感情の識別と認識に一定の効果を示すが、人間のレベルの正確さには欠ける。
  論文  参考訳（メタデータ） (2024-11-18T02:09:48Z)
• Speaker Emotion Recognition: Leveraging Self-Supervised Models for Feature Extraction Using Wav2Vec2 and HuBERT [0.0]
  本研究では, 自己教師型トランスフォーマーモデルであるWav2Vec2とHuBERTを用いて, 話者の感情を音声から判断する。 提案手法は、RAVDESS、SHEMO、SAVEE、AESDD、Emo-DBを含む計算可能なデータセットに基づいて評価される。
  論文  参考訳（メタデータ） (2024-11-05T10:06:40Z)
• The Whole Is Bigger Than the Sum of Its Parts: Modeling Individual Annotators to Capture Emotional Variability [7.1394038985662664]
  感情表現と知覚はニュアンスがあり、複雑で、非常に主観的なプロセスである。 ほとんどの音声感情認識タスクは、アノテータラベルを基底真理として平均化することでこの問題に対処する。 従来の研究は感情の多様性を捉えるために分布を学習しようとしたが、これらの手法は個々のアノテータに関する情報も失っている。 本研究では,モデル学習中の感情分布の学習を可能にする連続モデル出力から分布を生成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T19:24:06Z)
• Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
  人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。 分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
  論文  参考訳（メタデータ） (2023-11-16T06:20:13Z)
• An Ensemble Approach for Multiple Emotion Descriptors Estimation Using Multi-task Learning [12.589338141771385]
  本稿では,第4回ABAW(Affective Behavior Analysis in-the-Wild)コンペティションへの提案方法について述べる。 顔情報のみを使用する代わりに、顔と顔の周囲のコンテキストを含む提供されるデータセットから完全な情報を利用する。 提案システムは,MTLチャレンジ検証データセット上で0.917の性能を実現する。
  論文  参考訳（メタデータ） (2022-07-22T04:57:56Z)
• Multi-Cue Adaptive Emotion Recognition Network [4.570705738465714]
  適応型マルチキューに基づく感情認識のための新しい深層学習手法を提案する。 提案手法とCAER-Sデータセットの最先端手法を比較した。
  論文  参考訳（メタデータ） (2021-11-03T15:08:55Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。