論文の概要: A Novel Context-Aware Multimodal Framework for Persian Sentiment
Analysis
- arxiv url: http://arxiv.org/abs/2103.02636v1
- Date: Wed, 3 Mar 2021 19:09:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-07 22:50:26.950340
- Title: A Novel Context-Aware Multimodal Framework for Persian Sentiment
Analysis
- Title(参考訳): ペルシャ感情分析のための新しいコンテキスト対応マルチモーダルフレームワーク
- Authors: Kia Dashtipour, Mandar Gogate, Erik Cambria, Amir Hussain
- Abstract要約: まず,800以上の発話からなるペルシャのマルチモーダルデータセットについて述べる。
文脈対応型マルチモーダル感情分析フレームワークを提案する。
我々は,感情的クロスモーダル情報を統合するために,意思決定レベル(後期)と機能レベル(早期)の融合手法の両方を用いる。
- 参考スコア(独自算出の注目度): 19.783517380422854
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most recent works on sentiment analysis have exploited the text modality.
However, millions of hours of video recordings posted on social media platforms
everyday hold vital unstructured information that can be exploited to more
effectively gauge public perception. Multimodal sentiment analysis offers an
innovative solution to computationally understand and harvest sentiments from
videos by contextually exploiting audio, visual and textual cues. In this
paper, we, firstly, present a first of its kind Persian multimodal dataset
comprising more than 800 utterances, as a benchmark resource for researchers to
evaluate multimodal sentiment analysis approaches in Persian language.
Secondly, we present a novel context-aware multimodal sentiment analysis
framework, that simultaneously exploits acoustic, visual and textual cues to
more accurately determine the expressed sentiment. We employ both
decision-level (late) and feature-level (early) fusion methods to integrate
affective cross-modal information. Experimental results demonstrate that the
contextual integration of multimodal features such as textual, acoustic and
visual features deliver better performance (91.39%) compared to unimodal
features (89.24%).
- Abstract(参考訳): 感情分析に関する最近の研究は、テキストモダリティを活用している。
しかし、ソーシャルメディアプラットフォームに毎日投稿される何百万時間というビデオ録画は、より効果的に大衆の認識を計測するために活用できる重要な非構造化情報を持っている。
マルチモーダル感情分析(Multimodal sentiment analysis)は、音声、視覚、テキストの手がかりを文脈的に活用することで、ビデオから感情を計算的に理解し、収集する革新的なソリューションを提供する。
本稿では,まず,800以上の発話からなるペルシャ語マルチモーダルデータセットを,研究者がペルシャ語におけるマルチモーダル感情分析アプローチを評価するためのベンチマークリソースとして提示する。
第二に,音響的,視覚的,テキスト的手がかりを同時に活用し,表現された感情をより正確に決定する,新しい文脈認識型マルチモーダル感情分析フレームワークを提案する。
我々は,感情的クロスモーダル情報を統合するために,意思決定レベル(後期)と機能レベル(早期)の融合手法の両方を用いる。
実験の結果、テキスト、音響、視覚などのマルチモーダル特徴の文脈的統合は、ユニモーダル特徴(89.24%)よりも優れた性能(91.39%)をもたらすことが示された。
関連論文リスト
- Multi-modal Stance Detection: New Datasets and Model [59.428622374682234]
テキストと画像からなるツイートに対するマルチモーダル姿勢検出について検討する。
我々は、シンプルで効果的なマルチモーダル・プロンプト・チューニング・フレームワーク(TMPT)を提案する。
TMPTはマルチモーダル姿勢検出における最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-22T05:24:19Z) - WisdoM: Improving Multimodal Sentiment Analysis by Fusing Contextual
World Knowledge [73.76722241704488]
大規模視覚言語モデル(LVLM)から引き起こされる文脈的世界知識を利用してマルチモーダル感情分析を行うプラグインフレームワークWisdoMを提案する。
我々の手法は、いくつかの最先端手法よりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2024-01-12T16:08:07Z) - Interpretable multimodal sentiment analysis based on textual modality
descriptions by using large-scale language models [1.4213973379473654]
マルチモーダル感情分析は、ユーザの内部状態を理解する上で重要な領域である。
従来の研究は、注意重みやベクトル分布を使って解釈性を提供しようと試みてきた。
本研究では,非言語的モダリティをテキスト記述に変換することによって解釈可能性を実現する手法を提案する。
論文 参考訳(メタデータ) (2023-05-07T06:48:06Z) - Improving Visual-textual Sentiment Analysis by Fusing Expert Features [72.06263228104709]
本稿では,強力な専門家による視覚的特徴を導入することにより,視覚的・テキスト的感情分析を改善する手法を提案する。
提案手法は,(1)感情分析のためのデータから直接特徴を学習する視覚テキストブランチ,(2)事前学習した「エキスパート」エンコーダのセットを持つ視覚専門家ブランチ,(3)視覚テキスト特徴を暗黙的に融合して感情予測を行うCLIPブランチの4つの部分から構成される。
論文 参考訳(メタデータ) (2022-11-23T14:40:51Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [71.07658443380264]
様々なモダリティのデータを組み込んだマルチモーダル機械学習は、ますます人気のある研究分野になりつつある。
我々は、視覚、音声、テキストなど、各データフォーマットの共通点と特異点を分析し、Vision+Xの組み合わせによって分類された技術開発を提示する。
論文 参考訳(メタデータ) (2022-10-05T13:14:57Z) - MCSE: Multimodal Contrastive Learning of Sentence Embeddings [23.630041603311923]
本稿では,視覚情報とテキスト情報の両方をマルチモーダル・コントラッシブ・オブジェクトを通じて活用する文埋め込み学習手法を提案する。
提案手法は,各種データセットと事前学習エンコーダのパフォーマンスを継続的に向上することを示す。
論文 参考訳(メタデータ) (2022-04-22T21:19:24Z) - Video Sentiment Analysis with Bimodal Information-augmented Multi-Head
Attention [7.997124140597719]
本研究では,複数のモダリティの時系列データを含むビデオの感情分析に注目する。
重要な問題は、これらの異種データをどのように融合するかです。
バイモーダル相互作用に基づいて、より重要なバイモーダル特徴はより大きな重みが割り当てられる。
論文 参考訳(メタデータ) (2021-03-03T12:30:11Z) - An AutoML-based Approach to Multimodal Image Sentiment Analysis [1.0499611180329804]
本稿では,テキストと画像の感情分析を,automlに基づく最終的な融合分類に組み合わせる手法を提案する。
提案手法は95.19%の精度でB-T4SAデータセットの最先端性能を達成した。
論文 参考訳(メタデータ) (2021-02-16T11:28:50Z) - Multimodal Routing: Improving Local and Global Interpretability of
Multimodal Language Analysis [103.69656907534456]
人間中心のタスクに強いパフォーマンスを持つ最近のマルチモーダル学習は、しばしばブラックボックスである。
本稿では,各入力サンプルに対して,入力モダリティと出力表現の重み付けを異なる方法で調整するマルチモーダルルーティングを提案する。
論文 参考訳(メタデータ) (2020-04-29T13:42:22Z) - Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。
特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。
本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
論文 参考訳(メタデータ) (2020-04-10T06:31:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。