論文の概要: Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats

• arxiv url: http://arxiv.org/abs/2211.00171v1
• Date: Mon, 31 Oct 2022 22:32:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 12:40:18.750797
• Title: Using Emotion Embeddings to Transfer Knowledge Between Emotions, Languages, and Annotation Formats
• Title（参考訳）: 感情埋め込みを使って感情、言語、アノテーション間の知識を伝達する
• Authors: Georgios Chochlakis (1 and 2), Gireesh Mahajan (3), Sabyasachee Baruah (1 and 2), Keith Burghardt (2), Kristina Lerman (2), Shrikanth Narayanan (1 and 2) ((1) Signal Analysis and Interpretation Lab, University of Southern California, (2) Information Science Institute, University of Southern California, (3) Microsoft Cognitive Services)
• Abstract要約: 私たちは、異なる構成間で移行可能な単一のモデルを構築する方法を示します。 Demuxはゼロショット方式で知識を新しい言語に同時に転送できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The need for emotional inference from text continues to diversify as more and more disciplines integrate emotions into their theories and applications. These needs include inferring different emotion types, handling multiple languages, and different annotation formats. A shared model between different configurations would enable the sharing of knowledge and a decrease in training costs, and would simplify the process of deploying emotion recognition models in novel environments. In this work, we study how we can build a single model that can transition between these different configurations by leveraging multilingual models and Demux, a transformer-based model whose input includes the emotions of interest, enabling us to dynamically change the emotions predicted by the model. Demux also produces emotion embeddings, and performing operations on them allows us to transition to clusters of emotions by pooling the embeddings of each cluster. We show that Demux can simultaneously transfer knowledge in a zero-shot manner to a new language, to a novel annotation format and to unseen emotions. Code is available at https://github.com/gchochla/Demux-MEmo .
• Abstract（参考訳）: テキストからの感情推論の必要性は、ますます多くの規律が感情を理論や応用に統合するにつれて、多様化し続けている。 これらのニーズには、異なる感情タイプの推定、複数の言語を扱うこと、異なるアノテーションフォーマットが含まれる。 異なる構成間で共有されたモデルは、知識の共有とトレーニングコストの削減を可能にし、新しい環境に感情認識モデルをデプロイするプロセスを簡素化する。 本研究では、多言語モデルを活用することで、これらの構成間の遷移を可能にする単一のモデルを構築する方法と、関心の感情を含むインプットを持つトランスフォーマーベースのモデルであるDemuxについて検討し、モデルによって予測される感情を動的に変更できるようにする。 Demuxは感情の埋め込みも生成し、その上で操作を実行することで、各クラスタの埋め込みをプールすることで、感情のクラスタに移行することができます。 Demuxは、知識をゼロショットで新しい言語に、新しいアノテーション形式に、そして見当たらない感情に、同時に変換できることを示す。 コードはhttps://github.com/gchochla/Demux-MEmoで入手できる。

関連論文リスト

• MoEE: Mixture of Emotion Experts for Audio-Driven Portrait Animation [39.30784838378127]
  音声アバターの生成は、正確な音声同期において大きな進歩を遂げた。 現在の手法は、単一の基本的な感情表現をモデル化するフレームワークの欠如など、基本的な課題に直面している。 本研究では,6つの基本的な感情を分離し,特異な感情状態と複合的な感情状態の両方を正確に合成する混合感情エキスパートモデルを提案する。 DH-FaceEmoVid-150データセットと組み合わせて、複雑な感情表現とニュアンスのある顔の詳細を生成するのにMoEEフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T13:43:21Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Leveraging Label Correlations in a Multi-label Setting: A Case Study in Emotion [0.0]
  マルチラベル感情認識モデルにおけるラベル相関を利用して感情検出を改善する。 単言語BERTモデルを用いたSemEval 2018 Task 1 E-cにおいて、スペイン語、英語、アラビア語で最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-10-28T02:27:18Z)
• Speech Synthesis with Mixed Emotions [77.05097999561298]
  異なる感情の音声サンプル間の相対的な差を測定する新しい定式化を提案する。 次に、私たちの定式化を、シーケンスからシーケンスまでの感情的なテキストから音声へのフレームワークに組み込む。 実行時に、感情属性ベクトルを手動で定義し、所望の感情混合を生成するためにモデルを制御する。
  論文  参考訳（メタデータ） (2022-08-11T15:45:58Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• SpanEmo: Casting Multi-label Emotion Classification as Span-prediction [15.41237087996244]
  マルチラベル感情分類をスパンプレディションとした新しいモデル「SpanEmo」を提案する。 入力文中の複数の共存感情をモデル化することに焦点を当てた損失関数を導入する。 SemEval2018マルチラベル感情データを3つの言語セットで実験した結果,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-01-25T12:11:04Z)
• Seen and Unseen emotional style transfer for voice conversion with a new emotional speech dataset [84.53659233967225]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、音声中の感情的韻律を変換することを目的としている。 可変自動符号化ワッサーシュタイン生成対向ネットワーク(VAW-GAN)に基づく新しいフレームワークを提案する。 提案するフレームワークは,ベースラインフレームワークを一貫して上回り,優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-10-28T07:16:18Z)
• Modality-Transferable Emotion Embeddings for Low-Resource Multimodal Emotion Recognition [55.44502358463217]
  本稿では、上記の問題に対処するため、感情を埋め込んだモダリティ変換可能なモデルを提案する。 我々のモデルは感情カテゴリーのほとんどで最先端のパフォーマンスを達成する。 私たちのモデルは、目に見えない感情に対するゼロショットと少数ショットのシナリオにおいて、既存のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-09-21T06:10:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。