論文の概要: An Audio-Visual Fusion Emotion Generation Model Based on Neuroanatomical Alignment

• arxiv url: http://arxiv.org/abs/2503.16454v1
• Date: Fri, 21 Feb 2025 14:26:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-30 09:25:13.316267
• Title: An Audio-Visual Fusion Emotion Generation Model Based on Neuroanatomical Alignment
• Title（参考訳）: 神経解剖学的アライメントに基づく音声・視覚融合感情生成モデル
• Authors: Haidong Wang, Qia Shan, JianHua Zhang, PengFei Xiao, Ao Liu,
• Abstract要約: 我々は、脳に似た感情学習のためのオーディオ・ビジュアル・フュージョン(AVF-BEL)という新しいフレームワークを紹介する。 従来の脳に触発された感情学習法とは対照的に,本手法は音声・視覚的感情融合と生成モデルを改善する。 実験結果から,音声-視覚融合感情学習モデルとの類似性に大きな改善が認められた。
• 参考スコア（独自算出の注目度）: 15.98131469205444
• License:
• Abstract: In the field of affective computing, traditional methods for generating emotions predominantly rely on deep learning techniques and large-scale emotion datasets. However, deep learning techniques are often complex and difficult to interpret, and standardizing large-scale emotional datasets are difficult and costly to establish. To tackle these challenges, we introduce a novel framework named Audio-Visual Fusion for Brain-like Emotion Learning(AVF-BEL). In contrast to conventional brain-inspired emotion learning methods, this approach improves the audio-visual emotion fusion and generation model through the integration of modular components, thereby enabling more lightweight and interpretable emotion learning and generation processes. The framework simulates the integration of the visual, auditory, and emotional pathways of the brain, optimizes the fusion of emotional features across visual and auditory modalities, and improves upon the traditional Brain Emotional Learning (BEL) model. The experimental results indicate a significant improvement in the similarity of the audio-visual fusion emotion learning generation model compared to single-modality visual and auditory emotion learning and generation model. Ultimately, this aligns with the fundamental phenomenon of heightened emotion generation facilitated by the integrated impact of visual and auditory stimuli. This contribution not only enhances the interpretability and efficiency of affective intelligence but also provides new insights and pathways for advancing affective computing technology. Our source code can be accessed here: https://github.com/OpenHUTB/emotion}{https://github.com/OpenHUTB/emotion.
• Abstract（参考訳）: 感情コンピューティングの分野では、感情を生成する従来の方法は、主にディープラーニング技術と大規模な感情データセットに依存している。 しかし、ディープラーニング技術は複雑で解釈が難しいことが多く、大規模な感情的データセットの標準化は困難でコストがかかる。 これらの課題に対処するために,脳に似た感情学習のためのAudio-Visual Fusion(AVF-BEL)という新しいフレームワークを導入する。 従来の脳に触発された感情学習法とは対照的に、モジュラーコンポーネントの統合により、音声と視覚の感情融合と生成モデルを改善し、より軽量で解釈可能な感情学習と生成プロセスを可能にする。 このフレームワークは、脳の視覚的、聴覚的、感情的な経路の統合をシミュレートし、視覚的、聴覚的モダリティ間の感情的特徴の融合を最適化し、伝統的な脳情動学習(BEL)モデルを改善する。 実験結果から,単一モードの視覚的・聴覚的感情学習・生成モデルと比較して,音声・視覚融合感情学習モデルとの類似性が著しく向上したことが示された。 最終的にこれは、視覚刺激と聴覚刺激の統合的影響によって促進される感情の高揚という基本的な現象と一致している。 この貢献は、感情的知能の解釈可能性と効率を高めるだけでなく、感情的コンピューティング技術の進歩のための新たな洞察と経路を提供する。 ソースコードは以下にアクセスできる。 https://github.com/OpenHUTB/emotion}{https://github.com/OpenHUTB/emotion。

関連論文リスト

• MoEE: Mixture of Emotion Experts for Audio-Driven Portrait Animation [39.30784838378127]
  音声アバターの生成は、正確な音声同期において大きな進歩を遂げた。 現在の手法は、単一の基本的な感情表現をモデル化するフレームワークの欠如など、基本的な課題に直面している。 本研究では,6つの基本的な感情を分離し,特異な感情状態と複合的な感情状態の両方を正確に合成する混合感情エキスパートモデルを提案する。 DH-FaceEmoVid-150データセットと組み合わせて、複雑な感情表現とニュアンスのある顔の詳細を生成するのにMoEEフレームワークが優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-03T13:43:21Z)
• Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content [56.62027582702816]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音声、視覚データを融合することで人間の感情を解き放つことを目指している。 しかし、音声やビデオの表現の中で微妙な感情的なニュアンスを認識することは、恐ろしい挑戦だ。 テキストの感情記述に基づくプログレッシブ・フュージョン・フレームワークであるDEVAを紹介する。
  論文  参考訳（メタデータ） (2024-12-12T11:30:41Z)
• Emotion Detection through Body Gesture and Face [0.0]
  このプロジェクトは、非顔の手がかり、特に手、身体のジェスチャー、ジェスチャーに焦点を当てることによる感情認識の課題に対処する。 従来の感情認識システムは、主に表情分析に依存しており、ボディランゲージを通して伝達される豊かな感情情報を無視することが多い。 このプロジェクトの目的は、マシンが人間の感情をより包括的でニュアンスな方法で解釈し、反応する能力を高めることで、感情コンピューティングの分野に貢献することにある。
  論文  参考訳（メタデータ） (2024-07-13T15:15:50Z)
• Emotion Rendering for Conversational Speech Synthesis with Heterogeneous Graph-Based Context Modeling [50.99252242917458]
  会話音声合成(CSS)は,会話環境の中で適切な韻律と感情のインフレクションで発話を正確に表現することを目的としている。 データ不足の問題に対処するため、私たちはカテゴリと強度の点で感情的なラベルを慎重に作成します。 我々のモデルは感情の理解と表現においてベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-12-19T08:47:50Z)
• Learning Emotion Representations from Verbal and Nonverbal Communication [7.747924294389427]
  本稿では,言語・非言語コミュニケーションから視覚的感情表現を抽出する最初の事前学習パラダイムであるEmotionCLIPを提案する。 EmotionCLIPは、感情誘導型コントラスト学習を用いて、主観的文脈エンコーディングと言語感情キューを通じて、非言語感情キューへの参加を誘導する。 EmotionCLIPは、感情理解におけるデータ不足の一般的な問題に対処し、関連する領域の進歩を促進する。
  論文  参考訳（メタデータ） (2023-05-22T21:36:55Z)
• SOLVER: Scene-Object Interrelated Visual Emotion Reasoning Network [83.27291945217424]
  画像から感情を予測するために,SOLVER(Scene-Object Interrelated Visual Emotion Reasoning Network)を提案する。 異なるオブジェクト間の感情関係を掘り下げるために、まずセマンティックな概念と視覚的特徴に基づいて感情グラフを構築します。 また、シーンとオブジェクトを統合するScene-Object Fusion Moduleを設計し、シーンの特徴を利用して、提案したシーンベースのアテンションメカニズムでオブジェクトの特徴の融合プロセスを導出する。
  論文  参考訳（メタデータ） (2021-10-24T02:41:41Z)
• Stimuli-Aware Visual Emotion Analysis [75.68305830514007]
  本稿では,刺激選択,特徴抽出,感情予測の3段階からなる刺激認識型視覚感情分析(VEA)手法を提案する。 我々の知る限りでは、エンド・ツー・エンドのネットワークでVEAに刺激選択プロセスを導入するのは初めてです。 実験により、提案手法は、4つの公的な視覚的感情データセットに対する最先端のアプローチよりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-04T08:14:52Z)
• Enhancing Cognitive Models of Emotions with Representation Learning [58.2386408470585]
  本稿では,きめ細かな感情の埋め込み表現を生成するための,新しいディープラーニングフレームワークを提案する。 本フレームワークは,コンテキスト型埋め込みエンコーダとマルチヘッド探索モデルを統合する。 本モデルは共感対話データセット上で評価され,32種類の感情を分類する最新結果を示す。
  論文  参考訳（メタデータ） (2021-04-20T16:55:15Z)
• Leveraging Recent Advances in Deep Learning for Audio-Visual Emotion Recognition [2.1485350418225244]
  人間の行動分析のために, 自発的なマルチモーダル感情認識が広く研究されている。 視聴覚感情認識のための深層学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-16T15:49:15Z)
• Knowledge Bridging for Empathetic Dialogue Generation [52.39868458154947]
  外部知識の不足により、感情的な対話システムは暗黙の感情を知覚し、限られた対話履歴から感情的な対話を学ぶことが困難になる。 本研究では,情緒的対話生成における感情を明確に理解し,表現するために,常識的知識や情緒的語彙的知識などの外部知識を活用することを提案する。
  論文  参考訳（メタデータ） (2020-09-21T09:21:52Z)
• Meta Transfer Learning for Emotion Recognition [42.61707533351803]
  本研究では、ある視覚的/聴覚的感情領域から学習した感情知識を、別の視覚的/聴覚的感情領域に伝達できるPathNetに基づく伝達学習手法を提案する。 提案システムは感情認識の性能を向上し,最近提案された微調整/事前学習モデルに基づく伝達学習手法よりも性能が大幅に向上する。
  論文  参考訳（メタデータ） (2020-06-23T00:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。