論文の概要: Affect-DML: Context-Aware One-Shot Recognition of Human Affect using Deep Metric Learning

• arxiv url: http://arxiv.org/abs/2111.15271v1
• Date: Tue, 30 Nov 2021 10:35:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:05:52.271694
• Title: Affect-DML: Context-Aware One-Shot Recognition of Human Affect using Deep Metric Learning
• Title（参考訳）: Affect-DML:Deep Metric Learning を用いた人間の感情の文脈認識
• Authors: Kunyu Peng, Alina Roitberg, David Schneider, Marios Koulakis, Kailun Yang, Rainer Stiefelhagen
• Abstract要約: 既存の方法は、すべての関心の感情に注釈付きトレーニングの例として優先順位が与えられると仮定している。 我々は、文脈における感情のワンショット認識を概念化し、単一のサポートサンプルからより細かい粒子レベルの人間の影響状態を認識することを目的とした新しい問題である。 モデルの全変種は、ランダムなベースラインよりも明らかに優れており、セマンティックシーンのコンテキストを活用することで、学習された表現を一貫して改善している。
• 参考スコア（独自算出の注目度）: 29.262204241732565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human affect recognition is a well-established research area with numerous applications, e.g., in psychological care, but existing methods assume that all emotions-of-interest are given a priori as annotated training examples. However, the rising granularity and refinements of the human emotional spectrum through novel psychological theories and the increased consideration of emotions in context brings considerable pressure to data collection and labeling work. In this paper, we conceptualize one-shot recognition of emotions in context -- a new problem aimed at recognizing human affect states in finer particle level from a single support sample. To address this challenging task, we follow the deep metric learning paradigm and introduce a multi-modal emotion embedding approach which minimizes the distance of the same-emotion embeddings by leveraging complementary information of human appearance and the semantic scene context obtained through a semantic segmentation network. All streams of our context-aware model are optimized jointly using weighted triplet loss and weighted cross entropy loss. We conduct thorough experiments on both, categorical and numerical emotion recognition tasks of the Emotic dataset adapted to our one-shot recognition problem, revealing that categorizing human affect from a single example is a hard task. Still, all variants of our model clearly outperform the random baseline, while leveraging the semantic scene context consistently improves the learnt representations, setting state-of-the-art results in one-shot emotion recognition. To foster research of more universal representations of human affect states, we will make our benchmark and models publicly available to the community under https://github.com/KPeng9510/Affect-DML.
• Abstract（参考訳）: 人間の感情認識は、心理学的ケアなど多くの応用で確立された研究分野であるが、既存の手法では、すべての感情が注釈付きトレーニング例として優先されると仮定している。 しかしながら、新しい心理学理論による人間の感情スペクトルの粒度と細分化の増大と文脈における感情の考察の増加は、データ収集とラベル付け作業にかなりのプレッシャーを与える。 本稿では,1つのサポートサンプルから,より微細な粒子レベルにおける人間の影響状態を認識することを目的とした新しい問題である,文脈における感情のワンショット認識を概念化する。 この課題に対処するために,我々は,人間の外見の相補的情報とセマンティックセグメンテーションネットワークを通じて得られるセマンティックシーンコンテキストを活用することで,同情の埋め込み距離を最小化するマルチモーダル感情埋め込み手法を導入する。 文脈認識モデルのすべてのストリームは、重み付き三重項損失と重み付きクロスエントロピー損失を用いて協調的に最適化される。 単発認識問題に適応したエメティックデータセットのカテゴリー的および数値的感情認識タスクについて、徹底的な実験を行い、一つの例から人間の影響を分類することは難しい課題であることを示した。 それでも、我々のモデルの全変種は、ランダムなベースラインよりも明らかに優れており、セマンティックシーンのコンテキストを利用して、学習した表現を一貫して改善し、最先端の感情認識を実現する。 より普遍的な人間の影響状態の表現の研究を促進するため、ベンチマークとモデルをコミュニティに公開し、https://github.com/KPeng9510/Affect-DMLで公開します。

関連論文リスト

• ST-Gait++: Leveraging spatio-temporal convolutions for gait-based emotion recognition on videos [3.1489012476109854]
  歩行の分析を通して感情認識のための枠組みを提案する。 我々のモデルは空間的時間的グラフ畳み込みネットワークからなる。 提案手法をE-Gaitデータセット上で評価し,2177個のサンプルから構成した。
  論文  参考訳（メタデータ） (2024-05-22T18:24:21Z)
• Self-supervised Gait-based Emotion Representation Learning from Selective Strongly Augmented Skeleton Sequences [4.740624855896404]
  自己教師型歩行に基づく感情表現のための選択的強強化を利用したコントラスト学習フレームワークを提案する。 提案手法はEmotion-Gait (E-Gait) と Emilya のデータセットで検証され, 異なる評価プロトコル下での最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-08T09:13:10Z)
• Two in One Go: Single-stage Emotion Recognition with Decoupled Subject-context Transformer [78.35816158511523]
  単段階の感情認識手法として,DSCT(Decoupled Subject-Context Transformer)を用いる。 広範に使われている文脈認識型感情認識データセットであるCAER-SとEMOTICの単段階フレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-04-26T07:30:32Z)
• Deep Imbalanced Learning for Multimodal Emotion Recognition in Conversations [15.705757672984662]
  会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。 MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。 生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。 我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
  論文  参考訳（メタデータ） (2023-12-11T12:35:17Z)
• Seeking Subjectivity in Visual Emotion Distribution Learning [93.96205258496697]
  視覚感情分析(VEA)は、人々の感情を異なる視覚刺激に向けて予測することを目的としている。 既存の手法では、集団投票プロセスにおいて固有の主観性を無視して、統合されたネットワークにおける視覚的感情分布を予測することが多い。 視覚的感情分布の主観性を調べるために,新しいテキストサブジェクティビティ評価ネットワーク(SAMNet)を提案する。
  論文  参考訳（メタデータ） (2022-07-25T02:20:03Z)
• Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
  我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。 我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。 画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
  論文  参考訳（メタデータ） (2021-06-30T15:20:56Z)
• Acted vs. Improvised: Domain Adaptation for Elicitation Approaches in Audio-Visual Emotion Recognition [29.916609743097215]
  一般化された感情認識システムの開発における主な課題は、ラベル付きデータの不足とゴールドスタンダード参照の欠如である。 本研究では,感情誘発アプローチをドメイン知識とみなし,感情発話におけるドメイン伝達学習技術を探求する。
  論文  参考訳（メタデータ） (2021-04-05T15:59:31Z)
• A Multi-resolution Approach to Expression Recognition in the Wild [9.118706387430883]
  顔認識タスクを解決するためのマルチリゾリューション手法を提案する。 私たちは、しばしば異なる解像度で画像が取得されるという観察を直感的に根拠としています。 我々は、Affect-in-the-Wild 2データセットに基づいてトレーニングされたSqueeze-and-Excitationブロックを備えたResNetのようなアーキテクチャを使用する。
  論文  参考訳（メタデータ） (2021-03-09T21:21:02Z)
• Facial Emotion Recognition with Noisy Multi-task Annotations [88.42023952684052]
  ノイズの多いマルチタスクアノテーションを用いた顔の感情認識の新しい問題を提案する。 この新たな問題に対して,共同分布マッチングの観点からの定式化を提案する。 我々は,感情予測と共同分布学習を可能にする新しい手法を利用する。
  論文  参考訳（メタデータ） (2020-10-19T20:39:37Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)
• Continuous Emotion Recognition via Deep Convolutional Autoencoder and Support Vector Regressor [70.2226417364135]
  マシンはユーザの感情状態を高い精度で認識できることが不可欠である。 ディープニューラルネットワークは感情を認識する上で大きな成功を収めている。 表情認識に基づく連続的感情認識のための新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-01-31T17:47:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。