論文の概要: Emotion-Qwen: Training Hybrid Experts for Unified Emotion and General Vision-Language Understanding

• arxiv url: http://arxiv.org/abs/2505.06685v2
• Date: Fri, 30 May 2025 12:27:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 15:03:34.933051
• Title: Emotion-Qwen: Training Hybrid Experts for Unified Emotion and General Vision-Language Understanding
• Title（参考訳）: Emotion-Qwen:Unified Emotion and General Vision-Language Understandingのためのハイブリッドエキスパートのトレーニング
• Authors: Dawei Huang, Qing Li, Chuan Yan, Zebang Cheng, Yurong Huang, Xiang Li, Bin Li, Xiaohui Wang, Zheng Lian, Xiaojiang Peng,
• Abstract要約: Emotion-Qwenは、感情理解と一般的な視覚言語推論の両方を強化するために設計されたフレームワークである。 Emotion-Qwenは、Mixture of Experts (MoE)パラダイムに基づいた洗練されたハイブリッドを組み込んでいる。 ビデオ感情推論(VER)データセットを構築し,40万本以上のバイリンガルビデオクリップと詳細な記述的アノテーションを用いて,感情・クウェンの感情推論能力をさらに強化する。
• 参考スコア（独自算出の注目度）: 24.884935271771624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Emotion understanding in videos aims to accurately recognize and interpret individuals' emotional states by integrating contextual, visual, textual, and auditory cues. While Large Multimodal Models (LMMs) have demonstrated significant progress in general vision-language (VL) tasks, their performance in emotion-specific scenarios remains limited. Moreover, fine-tuning LMMs on emotion-related tasks often leads to catastrophic forgetting, hindering their ability to generalize across diverse tasks. To address these challenges, we present Emotion-Qwen, a tailored multimodal framework designed to enhance both emotion understanding and general VL reasoning. Emotion-Qwen incorporates a sophisticated Hybrid Compressor based on the Mixture of Experts (MoE) paradigm, which dynamically routes inputs to balance emotion-specific and general-purpose processing. The model is pre-trained in a three-stage pipeline on large-scale general and emotional image datasets to support robust multimodal representations. Furthermore, we construct the Video Emotion Reasoning (VER) dataset, comprising more than 40K bilingual video clips with fine-grained descriptive annotations, to further enrich Emotion-Qwen's emotional reasoning capability. Experimental results demonstrate that Emotion-Qwen achieves state-of-the-art performance on multiple emotion recognition benchmarks, while maintaining competitive results on general VL tasks. Code and models are available at https://github.com/24DavidHuang/Emotion-Qwen.
• Abstract（参考訳）: ビデオにおける感情理解は、文脈的、視覚的、テキスト的、聴覚的キューを統合することによって、個人の感情状態を正確に認識し、解釈することを目的としている。 LMM(Large Multimodal Models)は、一般的な視覚言語(VL)タスクにおいて顕著な進歩を示しているが、感情固有のシナリオにおけるそれらのパフォーマンスは限定的である。 さらに、感情に関連したタスクを微調整したLMMは、しばしば破滅的な忘れを招き、様々なタスクにまたがる一般化を阻害する。 これらの課題に対処するために、感情理解と一般的なVL推論の両方を強化するために設計されたマルチモーダルフレームワークであるEmotion-Qwenを提案する。 Emotion-Qwenには、Mixture of Experts (MoE)パラダイムに基づいた洗練されたハイブリッド圧縮機が組み込まれている。 このモデルは、堅牢なマルチモーダル表現をサポートするために、大規模で一般的な感情的なイメージデータセット上の3段階のパイプラインで事前訓練されている。 さらに,ビデオ感情推論(VER)データセットを構築し,40K以上のバイリンガルなビデオクリップと詳細な記述的アノテーションを組み合わせることで,感情・クウェンの感情的推論能力をさらに強化する。 Emotion-Qwenは、一般的なVLタスクの競合結果を維持しつつ、複数の感情認識ベンチマークで最先端のパフォーマンスを達成することを示す実験結果が得られた。 コードとモデルはhttps://github.com/24DavidHuang/Emotion-Qwen.comで公開されている。

関連論文リスト

• Disentangle Identity, Cooperate Emotion: Correlation-Aware Emotional Talking Portrait Generation [63.94836524433559]
  DICE-Talkは、感情と同一性を切り離し、類似した特徴を持つ感情を協調するフレームワークである。 我々は、モーダル・アテンションを通して、音声と視覚の感情の手がかりを共同でモデル化するアンタングル型感情埋め込み装置を開発した。 次に,学習可能な感情バンクを用いた相関強化感情調和モジュールを提案する。 第3に、拡散過程における感情の一貫性を強制する感情識別目標を設計する。
  論文  参考訳（メタデータ） (2025-04-25T05:28:21Z)
• AI with Emotions: Exploring Emotional Expressions in Large Language Models [0.0]
  大きな言語モデル(LLM)は、特定の感情状態で質問に答えるエージェントとしてロールプレイを行う。 ラッセルの「サイクムプレックス」モデルは、眠気(覚醒)と快楽(静寂)の軸に沿った感情を特徴づける。 評価の結果, 生成した回答の感情状態は, 仕様と一致していた。
  論文  参考訳（メタデータ） (2025-04-20T18:49:25Z)
• EmoVerse: Exploring Multimodal Large Language Models for Sentiment and Emotion Understanding [5.3848462080869215]
  Emotion Universe (EmoVerse) は、感情や感情に関連する幅広いタスクを扱うためのMLLMである。 EmoVerseは感情状態の根本原因を深く分析することができる。 また、Affective Multitask (AMT)データセットについても紹介する。
  論文  参考訳（メタデータ） (2024-12-11T02:55:00Z)
• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• Enhancing Emotional Generation Capability of Large Language Models via Emotional Chain-of-Thought [50.13429055093534]
  大規模言語モデル(LLM)は様々な感情認識タスクにおいて顕著な性能を示した。 本研究では,感情生成タスクにおけるLLMの性能を高めるための感情連鎖(ECoT)を提案する。
  論文  参考訳（メタデータ） (2024-01-12T16:42:10Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。