論文の概要: Targeted aspect based multimodal sentiment analysis:an attention capsule extraction and multi-head fusion network

• arxiv url: http://arxiv.org/abs/2103.07659v1
• Date: Sat, 13 Mar 2021 09:11:24 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-16 14:03:46.956729
• Title: Targeted aspect based multimodal sentiment analysis:an attention capsule extraction and multi-head fusion network
• Title（参考訳）: ターゲット・アスペクトに基づくマルチモーダル感情分析:注意カプセル抽出とマルチヘッド融合ネットワーク
• Authors: Jiaqian Wang, Donghong Gu, Chi Yang, Yun Xue, Zhengxin Song, Haoliang Zhao, Luwei Xiao
• Abstract要約: 目標とするアスペクトベースのマルチモーダル感情分析(TABMSA)を初めて提案します。 TABMSAのタスクに関する注意カプセル抽出およびマルチヘッド核融合ネットワーク(EF-Net)を考案する。 提案したモデルを手動アノテーション付き2つのデータセット上で評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multimodal sentiment analysis has currently identified its significance in a variety of domains. For the purpose of sentiment analysis, different aspects of distinguishing modalities, which correspond to one target, are processed and analyzed. In this work, we propose the targeted aspect-based multimodal sentiment analysis (TABMSA) for the first time. Furthermore, an attention capsule extraction and multi-head fusion network (EF-Net) on the task of TABMSA is devised. The multi-head attention (MHA) based network and the ResNet-152 are employed to deal with texts and images, respectively. The integration of MHA and capsule network aims to capture the interaction among the multimodal inputs. In addition to the targeted aspect, the information from the context and the image is also incorporated for sentiment delivered. We evaluate the proposed model on two manually annotated datasets. the experimental results demonstrate the effectiveness of our proposed model for this new task.
• Abstract（参考訳）: マルチモーダル感情分析は、様々な領域においてその重要性を認識している。 感情分析のために、1つのターゲットに対応するモダリティを区別するさまざまな側面を処理し、分析します。 本研究では,目標とするアスペクトベースのマルチモーダル感情分析(TABMSA)を初めて提案する。 さらに,TABMSAの課題に対する注意カプセル抽出と多頭部核融合ネットワーク(EF-Net)を考案した。 MHA(Multi-head attention)ベースのネットワークとResNet-152は、それぞれテキストと画像を扱うために使用される。 MHAとカプセルネットワークの統合は、マルチモーダル入力間の相互作用を捉えることを目的としている。 対象の側面に加えて、コンテキストとイメージからの情報は、配信感情のためにも組み込まれています。 提案したモデルを手動アノテーション付き2つのデータセット上で評価する。 実験結果から,本課題に対する提案したモデルの有効性が示された。

関連論文リスト

• GCM-Net: Graph-enhanced Cross-Modal Infusion with a Metaheuristic-Driven Network for Video Sentiment and Emotion Analysis [2.012311338995539]
  本稿では,発話からのマルチモーダルな文脈情報を活用し,メタヒューリスティックなアルゴリズムを用いて発話レベルの感情と感情予測を学習する新しい枠組みを提案する。 提案手法の有効性を示すため,我々は3つの顕著なマルチモーダル・ベンチマーク・データセットについて広範な評価を行った。
  論文  参考訳（メタデータ） (2024-10-02T10:07:48Z)
• A Novel Energy based Model Mechanism for Multi-modal Aspect-Based Sentiment Analysis [85.77557381023617]
  マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。 PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。 EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
  論文  参考訳（メタデータ） (2023-12-13T12:00:46Z)
• UniSA: Unified Generative Framework for Sentiment Analysis [48.78262926516856]
  感情分析は、人々の感情状態を理解し、マルチモーダル情報に基づいて感情カテゴリーを予測することを目的としている。 会話における感情認識(ERC)、アスペクトベース感情分析(ABSA)、マルチモーダル感情分析(MSA)など、いくつかのサブタスクから構成される。
  論文  参考訳（メタデータ） (2023-09-04T03:49:30Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Sequential Late Fusion Technique for Multi-modal Sentiment Analysis [0.0]
  我々はMOSIデータセットからテキスト、オーディオ、視覚的モーダルティを利用する。 マルチヘッドアテンションLSTMネットワークを用いた新しい融合手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T01:32:41Z)
• SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images [94.36401543589523]
  これら2つのタスクの幾何学的関係を利用するための意味的対象性の概念を紹介します。 次に, 対象性仮定に基づくセマンティックオブジェクト・深さ推定ネットワーク(SOSD-Net)を提案する。 私たちの知識を最大限に活用するために、SOSD-Netは同時単眼深度推定とセマンティックセグメンテーションのためのジオメトリ制約を利用する最初のネットワークです。
  論文  参考訳（メタデータ） (2021-01-19T02:41:03Z)
• Transformer-based Multi-Aspect Modeling for Multi-Aspect Multi-Sentiment Analysis [56.893393134328996]
  本稿では,複数の側面間の潜在的な関係を抽出し,文中のすべての側面の感情を同時に検出できるトランスフォーマーベースのマルチアスペクトモデリング手法を提案する。 本手法はBERTやRoBERTaといった強力なベースラインと比較して顕著な改善を実現している。
  論文  参考訳（メタデータ） (2020-11-01T11:06:31Z)
• MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis [48.776247141839875]
  本稿では,2つの異なる部分空間に各モダリティを投影する新しいフレームワーク MISA を提案する。 最初の部分空間はモダリティ不変(modality-invariant)であり、モダリティにまたがる表現はその共通点を学び、モダリティギャップを減少させる。 一般的な感情分析ベンチマークであるMOSIとMOSEIの実験は、最先端モデルよりも大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2020-05-07T15:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。