論文の概要: Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition

• arxiv url: http://arxiv.org/abs/2009.09629v3
• Date: Wed, 7 Oct 2020 05:09:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 04:51:18.381262
• Title: Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition
• Title（参考訳）: 低リソースマルチモーダル感情認識のためのモダリティ伝達型感情埋め込み
• Authors: Wenliang Dai, Zihan Liu, Tiezheng Yu and Pascale Fung
• Abstract要約: 本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
• 参考スコア（独自算出の注目度）: 55.44502358463217
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the recent achievements made in the multi-modal emotion recognition task, two problems still exist and have not been well investigated: 1) the relationship between different emotion categories are not utilized, which leads to sub-optimal performance; and 2) current models fail to cope well with low-resource emotions, especially for unseen emotions. In this paper, we propose a modality-transferable model with emotion embeddings to tackle the aforementioned issues. We use pre-trained word embeddings to represent emotion categories for textual data. Then, two mapping functions are learned to transfer these embeddings into visual and acoustic spaces. For each modality, the model calculates the representation distance between the input sequence and target emotions and makes predictions based on the distances. By doing so, our model can directly adapt to the unseen emotions in any modality since we have their pre-trained embeddings and modality mapping functions. Experiments show that our model achieves state-of-the-art performance on most of the emotion categories. In addition, our model also outperforms existing baselines in the zero-shot and few-shot scenarios for unseen emotions.
• Abstract（参考訳）: マルチモーダル感情認識タスクにおける最近の成果にもかかわらず、2つの問題がまだ存在し、十分に研究されていない。 1)異なる感情カテゴリー間の関係は利用されず、それが準最適パフォーマンスにつながる。 2) 現在のモデルは低リソース感情、特に目に見えない感情にうまく対応できない。 本稿では,上記の問題に取り組むために感情埋め込みを伴うモダリティ伝達モデルを提案する。 テキストデータの感情カテゴリを表現するために,事前学習した単語埋め込みを用いる。 次に、2つの写像関数を学習し、これらの埋め込みを視覚空間と音響空間に転送する。 各モードに対して、モデルは入力シーケンスと対象感情の間の表現距離を計算し、距離に基づいて予測を行う。 そうすることで、トレーニング済みの埋め込み関数とモダリティマッピング関数があるため、私たちのモデルはあらゆるモダリティにおいて目に見えない感情に直接適応することができます。 実験の結果,感情カテゴリーのほとんどにおいて,最先端のパフォーマンスが得られた。 さらに、私たちのモデルは、無意識の感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。

関連論文リスト

• Language Models (Mostly) Do Not Consider Emotion Triggers When Predicting Emotion [87.18073195745914]
  人間の感情が感情の予測において有意であると考えられる特徴とどのように相関するかを検討する。 EmoTriggerを用いて、感情のトリガーを識別する大規模言語モデルの能力を評価する。 分析の結果、感情のトリガーは感情予測モデルにとって健全な特徴ではなく、様々な特徴と感情検出のタスクの間に複雑な相互作用があることが判明した。
  論文  参考訳（メタデータ） (2023-11-16T06:20:13Z)
• High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
  画像から高レベルな文脈表現を抽出する手法を提案する。 このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。 我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
  論文  参考訳（メタデータ） (2023-05-05T13:20:41Z)
• Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats [0.0]
  私たちは、異なる構成間で移行可能な単一のモデルを構築する方法を示します。 Demuxはゼロショット方式で知識を新しい言語に同時に転送できることを示す。
  論文  参考訳（メタデータ） (2022-10-31T22:32:36Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Fine-Grained Emotion Prediction by Modeling Emotion Definitions [26.098917459551167]
  本研究では,感情定義モデルを用いて,テキスト中の感情の微粒化を予測するための新しいフレームワークを提案する。 我々のモデルは、詳細な感情データセットGoEmotionsの既存の最先端よりも優れています。
  論文  参考訳（メタデータ） (2021-07-26T12:11:18Z)
• A Circular-Structured Representation for Visual Emotion Distribution Learning [82.89776298753661]
  視覚的感情分布学習に先立つ知識を活用するために,身近な円形構造表現を提案する。 具体的には、まず感情圏を構築し、その内にある感情状態を統一する。 提案した感情圏では、各感情分布は3つの属性で定義される感情ベクトルで表される。
  論文  参考訳（メタデータ） (2021-06-23T14:53:27Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Facial Expression Editing with Continuous Emotion Labels [76.36392210528105]
  深層生成モデルは、自動表情編集の分野で素晴らしい成果を上げている。 連続した2次元の感情ラベルに従って顔画像の表情を操作できるモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-22T13:03:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。