論文の概要: Robust Facial Reactions Generation: An Emotion-Aware Framework with Modality Compensation
- arxiv url: http://arxiv.org/abs/2407.15798v2
- Date: Tue, 23 Jul 2024 23:49:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-25 18:02:43.537378
- Title: Robust Facial Reactions Generation: An Emotion-Aware Framework with Modality Compensation
- Title（参考訳）: ロバストな顔反応生成: モダリティ補償を伴う感情認識フレームワーク
- Authors: Guanyu Hu, Jie Wei, Siyang Song, Dimitrios Kollias, Xinyu Yang, Zhonglin Sun, Odysseus Kaloidas,
- Abstract要約: 感情認識型モダリティ補償(EMC)フレームワークを提案する。
我々のフレームワークは、欠落したモダリティデータに直面するときのレジリエンスを保証する。
Emotion-Aware Attention (EA)モジュールを通じて、より適切な感情認識反応を生成する。
- 参考スコア（独自算出の注目度）: 27.2792182180834
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: The objective of the Multiple Appropriate Facial Reaction Generation (MAFRG) task is to produce contextually appropriate and diverse listener facial behavioural responses based on the multimodal behavioural data of the conversational partner (i.e., the speaker). Current methodologies typically assume continuous availability of speech and facial modality data, neglecting real-world scenarios where these data may be intermittently unavailable, which often results in model failures. Furthermore, despite utilising advanced deep learning models to extract information from the speaker's multimodal inputs, these models fail to adequately leverage the speaker's emotional context, which is vital for eliciting appropriate facial reactions from human listeners. To address these limitations, we propose an Emotion-aware Modality Compensatory (EMC) framework. This versatile solution can be seamlessly integrated into existing models, thereby preserving their advantages while significantly enhancing performance and robustness in scenarios with missing modalities. Our framework ensures resilience when faced with missing modality data through the Compensatory Modality Alignment (CMA) module. It also generates more appropriate emotion-aware reactions via the Emotion-aware Attention (EA) module, which incorporates the speaker's emotional information throughout the entire encoding and decoding process. Experimental results demonstrate that our framework improves the appropriateness metric FRCorr by an average of 57.2\% compared to the original model structure. In scenarios where speech modality data is missing, the performance of appropriate generation shows an improvement, and when facial data is missing, it only exhibits minimal degradation.
- Abstract（参考訳）: マルチ適切な顔反応生成(MAFRG)タスクの目的は、会話相手(話者)のマルチモーダル行動データに基づいて、文脈的に適切で多様な顔行動応答を生成することである。
現在の手法では、通常、音声と顔のモダリティデータの連続的な可用性を前提としており、これらのデータが断続的に利用できない現実のシナリオを無視し、しばしばモデル障害を引き起こす。
さらに、高度なディープラーニングモデルを用いて話者のマルチモーダル入力から情報を抽出するにも拘わらず、これらのモデルは、人間の聞き手から適切な表情反応を引き出すのに不可欠である、話者の感情的文脈を適切に活用することができない。
これらの制約に対処するため,感情対応型モダリティ補償(EMC)フレームワークを提案する。
この汎用的なソリューションは、既存のモデルにシームレスに統合することができ、利点を保ちながら、モダリティの欠如のあるシナリオのパフォーマンスと堅牢性を大幅に向上させることができる。
我々のフレームワークは、補償モダリティアライメント(CMA)モジュールを介して、欠落したモダリティデータに直面するときのレジリエンスを保証する。
また、Emotion-Aware Attention (EA)モジュールを通じて、より適切な感情認識反応を生成する。
実験結果から,本フレームワークは,従来のモデル構造と比較して,平均57.2倍の精度でFRCorrの適合性を向上させることが示された。
音声モダリティデータが欠落しているシナリオでは、適切な生成のパフォーマンスが向上し、顔データが欠落している場合には、最小限の劣化しか示さない。
関連論文リスト
- Speech Emotion Recognition under Resource Constraints with Data Distillation [64.36799373890916]
音声感情認識(SER)は、人間とコンピュータの相互作用において重要な役割を果たす。
モノのインターネットにおけるエッジデバイスの出現は、複雑なディープラーニングモデルを構築する上での課題を示している。
本研究では,IoTアプリケーションにおけるSERモデルの効率的な開発を容易にするためのデータ蒸留フレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-21T13:10:46Z) - A Study of Dropout-Induced Modality Bias on Robustness to Missing Video
Frames for Audio-Visual Speech Recognition [53.800937914403654]
AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。
ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。
本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
論文 参考訳（メタデータ） (2024-03-07T06:06:55Z) - AMuSE: Adaptive Multimodal Analysis for Speaker Emotion Recognition in
Group Conversations [39.79734528362605]
マルチモーダルアテンションネットワークは、空間抽象の様々なレベルにおける相互モーダル相互作用をキャプチャする。
AMuSEモデルは、空間的特徴と時間的特徴の両方を、話者レベルと発話レベルという2つの濃密な記述子に凝縮する。
論文 参考訳（メタデータ） (2024-01-26T19:17:05Z) - Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive
Learning [71.8876256714229]
本稿では,知識ベース対話システムの堅牢性向上を目的とした,エンティティベースのコントラスト学習フレームワークを提案する。
提案手法は,自動評価スコアの点から,新しい最先端性能を実現する。
論文 参考訳（メタデータ） (2024-01-09T05:16:52Z) - Deep Imbalanced Learning for Multimodal Emotion Recognition in
Conversations [15.705757672984662]
会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。
MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。
生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。
我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
論文 参考訳（メタデータ） (2023-12-11T12:35:17Z) - Watch the Speakers: A Hybrid Continuous Attribution Network for Emotion
Recognition in Conversation With Emotion Disentanglement [8.17164107060944]
Emotion Recognition in Conversation (ERC) は自然言語処理分野で広く注目を集めている。
既存のERC手法では、コンテキストのモデリングが不十分なため、様々なシナリオへの一般化が困難である。
本稿では,これらの課題に対処するハイブリッド連続帰属ネットワーク(HCAN)について,感情的継続と感情的帰属の観点から紹介する。
論文 参考訳（メタデータ） (2023-09-18T14:18:16Z) - 'What are you referring to?' Evaluating the Ability of Multi-Modal
Dialogue Models to Process Clarificational Exchanges [65.03196674816772]
参照表現が宛先に対して意図された参照を一意に識別しない場合、参照の曖昧さが対話で生じる。
出席者は、通常、そのような曖昧さをすぐに検知し、メタコミュニケーション、明確化取引所(CE: Meta-communicative, Clarification Exchanges)を使用して、話者と作業する。
ここでは、CRを生成・応答する能力は、マルチモーダルな視覚的基盤を持つ対話モデルのアーキテクチャと目的関数に特定の制約を課していると論じる。
論文 参考訳（メタデータ） (2023-07-28T13:44:33Z) - EmotionIC: emotional inertia and contagion-driven dependency modeling for emotion recognition in conversation [34.24557248359872]
本稿では,ERCタスクに対する感情的慣性・伝染型依存性モデリング手法(EmotionIC)を提案する。
EmotionICは3つの主要コンポーネント、すなわちIDマスク付きマルチヘッド注意(IMMHA)、対話型Gated Recurrent Unit(DiaGRU)、Skip-chain Conditional Random Field(SkipCRF)から構成されている。
実験結果から,提案手法は4つのベンチマークデータセットにおいて,最先端のモデルよりも大幅に優れていることが示された。
論文 参考訳（メタデータ） (2023-03-20T13:58:35Z) - M2R2: Missing-Modality Robust emotion Recognition framework with
iterative data augmentation [6.962213869946514]
学習された共通表現による反復的データ拡張で感情認識モデルを訓練するミス・モダリティ・ロバスト感情認識(M2R2)を提案する。
Party Attentive Network (PANet)は、すべての話者の状態と状況を追跡する感情を分類するために設計された。
論文 参考訳（メタデータ） (2022-05-05T09:16:31Z) - Multimodal Emotion Recognition using Transfer Learning from Speaker
Recognition and BERT-based models [53.31917090073727]
本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。
本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
論文 参考訳（メタデータ） (2022-02-16T00:23:42Z) - Self-attention fusion for audiovisual emotion recognition with
incomplete data [103.70855797025689]
視覚的感情認識を応用したマルチモーダルデータ解析の問題点を考察する。
本稿では、生データから学習可能なアーキテクチャを提案し、その3つの変種を異なるモダリティ融合機構で記述する。
論文 参考訳（メタデータ） (2022-01-26T18:04:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。