論文の概要: A Heterogeneous Multimodal Graph Learning Framework for Recognizing User Emotions in Social Networks

• arxiv url: http://arxiv.org/abs/2501.07746v1
• Date: Mon, 13 Jan 2025 23:21:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-15 13:26:35.638659
• Title: A Heterogeneous Multimodal Graph Learning Framework for Recognizing User Emotions in Social Networks
• Title（参考訳）: ソーシャルネットワークにおけるユーザ感情認識のための不均一なマルチモーダルグラフ学習フレームワーク
• Authors: Sree Bhattacharyya, Shuhua Yang, James Z. Wang,
• Abstract要約: この研究は、不均一グラフ学習に基づくソーシャルネットワークにおけるパーソナライズされた感情予測の新しい定式化を提案する。 HMG-Emoには動的コンテキスト融合モジュールが含まれており、ソーシャルメディアデータに様々なモダリティを適応的に統合することができる。
• 参考スコア（独自算出の注目度）: 1.549044782924499
• License:
• Abstract: The rapid expansion of social media platforms has provided unprecedented access to massive amounts of multimodal user-generated content. Comprehending user emotions can provide valuable insights for improving communication and understanding of human behaviors. Despite significant advancements in Affective Computing, the diverse factors influencing user emotions in social networks remain relatively understudied. Moreover, there is a notable lack of deep learning-based methods for predicting user emotions in social networks, which could be addressed by leveraging the extensive multimodal data available. This work presents a novel formulation of personalized emotion prediction in social networks based on heterogeneous graph learning. Building upon this formulation, we design HMG-Emo, a Heterogeneous Multimodal Graph Learning Framework that utilizes deep learning-based features for user emotion recognition. Additionally, we include a dynamic context fusion module in HMG-Emo that is capable of adaptively integrating the different modalities in social media data. Through extensive experiments, we demonstrate the effectiveness of HMG-Emo and verify the superiority of adopting a graph neural network-based approach, which outperforms existing baselines that use rich hand-crafted features. To the best of our knowledge, HMG-Emo is the first multimodal and deep-learning-based approach to predict personalized emotions within online social networks. Our work highlights the significance of exploiting advanced deep learning techniques for less-explored problems in Affective Computing.
• Abstract（参考訳）: ソーシャルメディアプラットフォームの急速な拡大は、大量のマルチモーダルユーザー生成コンテンツに前例のないアクセスを提供してきた。 ユーザの感情を補完することは、コミュニケーションを改善し、人間の行動を理解するための貴重な洞察を提供する。 Affective Computingの大幅な進歩にもかかわらず、ソーシャルネットワークにおけるユーザーの感情に影響を与える様々な要因は、いまだに研究されていない。 さらに,膨大なマルチモーダルデータを活用することで対処できる,ソーシャルネットワークのユーザ感情を予測するためのディープラーニングベースの手法が欠如している。 この研究は、不均一グラフ学習に基づくソーシャルネットワークにおけるパーソナライズされた感情予測の新しい定式化を提案する。 この定式化に基づいて,深層学習に基づくユーザ感情認識機能を活用した不均一なマルチモーダルグラフ学習フレームワークHMG-Emoを設計する。 さらに,HMG-Emoには動的コンテキスト融合モジュールが組み込まれており,ソーシャルメディアデータに様々なモダリティを適応的に組み込むことができる。 広範な実験を通じて,HMG-Emoの有効性を実証し,グラフニューラルネットワークに基づくアプローチを採用する上での優位性を検証した。 私たちの知る限りでは、HMG-Emoはオンラインソーシャルネットワークの中でパーソナライズされた感情を予測するための、最初のマルチモーダルでディープラーニングベースのアプローチです。 我々の研究は、Affective Computingにおける探索の少ない問題に先進的なディープラーニング技術を活用することの重要性を強調している。

関連論文リスト

• EmoLLM: Multimodal Emotional Understanding Meets Large Language Models [61.179731667080326]
  マルチモーダル・大規模言語モデル(MLLM)は、目的とするマルチモーダル認識タスクにおいて顕著な性能を達成している。 しかし、主観的、感情的にニュアンスのあるマルチモーダルコンテンツを解釈する能力はほとんど解明されていない。 EmoLLMは、マルチモーダルな感情理解のための新しいモデルであり、2つのコア技術が組み込まれている。
  論文  参考訳（メタデータ） (2024-06-24T08:33:02Z)
• SocialGFs: Learning Social Gradient Fields for Multi-Agent Reinforcement Learning [58.84311336011451]
  マルチエージェント強化学習のための新しい勾配に基づく状態表現を提案する。 オフラインサンプルからソーシャルグラデーションフィールド(SocialGF)を学習するために,デノジングスコアマッチングを採用している。 実際に、SocialGFをMAPPOなど、広く使われているマルチエージェント強化学習アルゴリズムに統合する。
  論文  参考訳（メタデータ） (2024-05-03T04:12:19Z)
• SoMeLVLM: A Large Vision Language Model for Social Media Processing [78.47310657638567]
  ソーシャルメディア処理のための大規模ビジョン言語モデル(SoMeLVLM)を提案する。 SoMeLVLMは、知識と理解、応用、分析、評価、作成を含む5つの重要な機能を備えた認知フレームワークである。 実験により,複数のソーシャルメディアタスクにおいて,SoMeLVLMが最先端のパフォーマンスを達成できることが実証された。
  論文  参考訳（メタデータ） (2024-02-20T14:02:45Z)
• Adversarial Representation with Intra-Modal and Inter-Modal Graph Contrastive Learning for Multimodal Emotion Recognition [14.639340916340801]
  マルチモーダル感情認識 (AR-IIGCN) 法に対して, モーダル内およびモーダル間グラフコントラストを用いた新しい適応表現を提案する。 まず、ビデオ、オーディオ、テキストの特徴を多層パーセプトロン(MLP)に入力し、それらを別々の特徴空間にマッピングする。 第2に,逆表現による3つのモーダル特徴に対するジェネレータと判別器を構築する。 第3に、モーダル内およびモーダル間相補的意味情報を取得するために、コントラッシブグラフ表現学習を導入する。
  論文  参考訳（メタデータ） (2023-12-28T01:57:26Z)
• Deep Imbalanced Learning for Multimodal Emotion Recognition in Conversations [15.705757672984662]
  会話におけるマルチモーダル感情認識(MERC)は、マシンインテリジェンスにとって重要な開発方向である。 MERCのデータの多くは自然に感情カテゴリーの不均衡な分布を示しており、研究者は感情認識に対する不均衡なデータの負の影響を無視している。 生データにおける感情カテゴリーの不均衡分布に対処するクラス境界拡張表現学習(CBERL)モデルを提案する。 我々は,IEMOCAPおよびMELDベンチマークデータセットの広範な実験を行い,CBERLが感情認識の有効性において一定の性能向上を達成したことを示す。
  論文  参考訳（メタデータ） (2023-12-11T12:35:17Z)
• A Contextualized Real-Time Multimodal Emotion Recognition for Conversational Agents using Graph Convolutional Networks in Reinforcement Learning [0.800062359410795]
  強化学習(conER-GRL)を用いたグラフ畳み込みネットワークを用いた文脈的感情認識のための新しいパラダイムを提案する。 会話は、文脈情報の効果的な抽出のために、発話の小さなグループに分割される。 このシステムは、GRU(Gated Recurrent Units)を用いて、これらの発話群からマルチモーダル特徴を抽出する。
  論文  参考訳（メタデータ） (2023-10-24T14:31:17Z)
• EMERSK -- Explainable Multimodal Emotion Recognition with Situational Knowledge [0.0]
  状況知識を用いた説明可能なマルチモーダル感情認識(EMERSK)を提案する。 EMERSKは視覚情報を用いた人間の感情認識と説明のための汎用システムである。 本システムは, 表情, 姿勢, 歩行などの複数のモーダルを柔軟かつモジュラーな方法で処理することができる。
  論文  参考訳（メタデータ） (2023-06-14T17:52:37Z)
• Self-supervised Hypergraph Representation Learning for Sociological Analysis [52.514283292498405]
  本稿では,データマイニング技術と社会学的行動基準のさらなる融合を支援するための基本的な方法論を提案する。 まず,効率的なハイパーグラフ認識と高速グラフ構築フレームワークを提案する。 第2に,ユーザからユーザへのソーシャルインフルエンスを学習するためのハイパーグラフベースニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-12-22T01:20:29Z)
• Exploiting Social Graph Networks for Emotion Prediction [2.7376140293132667]
  モバイルセンシングデータを用いて幸福とストレスを予測する。 人の生理的特徴に加えて、天気やソーシャルネットワークを通じて環境への影響も取り入れる。 ユーザのソーシャルネットワークの統合が予測に影響を及ぼすようなアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-12T20:24:39Z)
• Multimodal Emotion Recognition using Transfer Learning from Speaker Recognition and BERT-based models [53.31917090073727]
  本稿では,音声とテキストのモダリティから,伝達学習モデルと微調整モデルとを融合したニューラルネットワークによる感情認識フレームワークを提案する。 本稿では,対話型感情的モーションキャプチャー・データセットにおけるマルチモーダル・アプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2022-02-16T00:23:42Z)
• Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies [106.62835060095532]
  マルチモーダル感情認識(MER)のいくつかの重要な側面について論じる。 まず、広く使われている感情表現モデルと感情モダリティの簡単な紹介から始める。 次に、既存の感情アノテーション戦略とそれに対応する計算タスクを要約する。 最後に,実世界のアプリケーションについて概説し,今後の方向性について論じる。
  論文  参考訳（メタデータ） (2021-08-18T21:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。