論文の概要: Recent Trends of Multimodal Affective Computing: A Survey from NLP Perspective
- arxiv url: http://arxiv.org/abs/2409.07388v1
- Date: Wed, 11 Sep 2024 16:24:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-12 13:53:24.292642
- Title: Recent Trends of Multimodal Affective Computing: A Survey from NLP Perspective
- Title(参考訳): マルチモーダル・アフェクティブ・コンピューティングの最新動向:NLPの視点から
- Authors: Guimin Hu, Yi Xin, Weimin Lyu, Haojian Huang, Chang Sun, Zhihong Zhu, Lin Gui, Ruichu Cai,
- Abstract要約: マルチモーダル感情コンピューティング(MAC)は、人間の行動や意図の分析に広く応用されているため、注目を集めている。
本調査は,NLPの観点からのマルチモーダル感情コンピューティングの最近のトレンドを4つのホットタスクにまとめる。
本調査の目的は、マルチモーダル感情研究の現在の展望を探求し、開発動向を特定し、様々なタスクにおける類似点と相違点を明らかにすることである。
- 参考スコア(独自算出の注目度): 15.636328950350322
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal affective computing (MAC) has garnered increasing attention due to its broad applications in analyzing human behaviors and intentions, especially in text-dominated multimodal affective computing field. This survey presents the recent trends of multimodal affective computing from NLP perspective through four hot tasks: multimodal sentiment analysis, multimodal emotion recognition in conversation, multimodal aspect-based sentiment analysis and multimodal multi-label emotion recognition. The goal of this survey is to explore the current landscape of multimodal affective research, identify development trends, and highlight the similarities and differences across various tasks, offering a comprehensive report on the recent progress in multimodal affective computing from an NLP perspective. This survey covers the formalization of tasks, provides an overview of relevant works, describes benchmark datasets, and details the evaluation metrics for each task. Additionally, it briefly discusses research in multimodal affective computing involving facial expressions, acoustic signals, physiological signals, and emotion causes. Additionally, we discuss the technical approaches, challenges, and future directions in multimodal affective computing. To support further research, we released a repository that compiles related works in multimodal affective computing, providing detailed resources and references for the community.
- Abstract(参考訳): マルチモーダル感情コンピューティング(MAC)は、人間の行動や意図、特にテキストが支配するマルチモーダル感情コンピューティング分野において広く応用されているため、注目を集めている。
マルチモーダル感情分析,会話におけるマルチモーダル感情認識,マルチモーダル・アスペクトベース感情分析,マルチモーダル・マルチラベル感情認識という4つのホットタスクを通じて,NLPの観点からのマルチモーダル感情コンピューティングの最近の動向を示す。
本調査の目的は、マルチモーダル感情研究の現在の状況を探究し、開発動向を特定し、様々なタスクの類似点と相違点を明らかにすることであり、NLPの観点からのマルチモーダル感情コンピューティングの最近の進歩に関する総合的なレポートを提供する。
本調査では、タスクの形式化、関連する作業の概要、ベンチマークデータセットの説明、各タスクの評価基準の詳細について紹介する。
さらに、表情、音響信号、生理的信号、感情の原因を含むマルチモーダル感情コンピューティングの研究についても、簡潔に論じる。
さらに,マルチモーダル感情コンピューティングにおける技術的アプローチ,課題,今後の方向性についても論じる。
さらなる研究を支援するため、我々はマルチモーダルな感情コンピューティングにおける関連研究をコンパイルし、コミュニティに詳細なリソースと参照を提供するレポジトリをリリースした。
関連論文リスト
- Cross-Modal Consistency in Multimodal Large Language Models [33.229271701817616]
クロスモーダル一貫性という新しい概念を導入する。
実験結果から, GPT-4V内における視覚と言語モダリティの矛盾が明らかとなった。
我々の研究は、そのようなモデルの適切な利用に関する洞察と、その設計を強化するための潜在的な道のヒントを得る。
論文 参考訳(メタデータ) (2024-11-14T08:22:42Z) - A Survey of Stance Detection on Social Media: New Directions and Perspectives [50.27382951812502]
姿勢検出は 感情コンピューティングにおける 重要なサブフィールドとして現れました
近年は、効果的な姿勢検出手法の開発に対する研究の関心が高まっている。
本稿では,ソーシャルメディア上での姿勢検出手法に関する包括的調査を行う。
論文 参考訳(メタデータ) (2024-09-24T03:06:25Z) - Multi-Task Learning for Affect Analysis [0.0]
本研究は,同じ問題に対するユニタスク・ソリューションとマルチタスク・アプローチの2つの主要なアプローチについて検討する。
このプロジェクトは既存のニューラルネットワークアーキテクチャを活用し、出力層と損失関数を変更することでマルチタスク学習に適応する。
この研究は、医療、マーケティング、人間とコンピュータの相互作用にまたがるアプリケーションによって、感情コンピューティングの急成長する分野に貢献することを目指している。
論文 参考訳(メタデータ) (2024-06-30T12:36:37Z) - Modality Influence in Multimodal Machine Learning [0.0]
本研究では,マルチモーダル感情分析,マルチモーダル感情認識,マルチモーダルヘイト音声認識,マルチモーダル病検出について検討した。
本研究の目的は、各タスクの最も影響力のあるモダリティやモダリティの集合を特定し、多様なマルチモーダル分類タスクの結論を引き出すことである。
論文 参考訳(メタデータ) (2023-06-10T16:28:52Z) - Expanding the Role of Affective Phenomena in Multimodal Interaction
Research [57.069159905961214]
マルチモーダルインタラクション, 感情計算, 自然言語処理において, 選ばれたカンファレンスから16,000以上の論文を調査した。
本論文では,感情関連論文910を同定し,情緒現象の役割について分析した。
我々は、人間の社会的行動や認知状態の機械的理解を高めるために、AIシステムによって感情と感情の予測がどのように使用されるかについて、限られた研究結果を得た。
論文 参考訳(メタデータ) (2023-05-18T09:08:39Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳(メタデータ) (2022-10-05T13:14:57Z) - Co-Located Human-Human Interaction Analysis using Nonverbal Cues: A
Survey [71.43956423427397]
本研究の目的は,非言語的キューと計算手法を同定し,効果的な性能を実現することである。
この調査は、最も広い範囲の社会現象と相互作用設定を巻き込むことによって、相手と異なる。
もっともよく使われる非言語キュー、計算方法、相互作用環境、センシングアプローチは、それぞれマイクとカメラを備えた3,4人で構成される会話活動、ベクターマシンのサポート、ミーティングである。
論文 参考訳(メタデータ) (2022-07-20T13:37:57Z) - Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
マルチモーダル画像合成と編集は 近年 ホットな研究テーマになっている。
近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。
ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
論文 参考訳(メタデータ) (2021-12-27T10:00:16Z) - A Review on Explainability in Multimodal Deep Neural Nets [2.3204178451683264]
マルチモーダルAI技術は、いくつかのアプリケーションドメインで大きな成功を収めている。
その優れた性能にもかかわらず、深層ニューラルネットワークの複雑で不透明でブラックボックスな性質は、社会的受容と使用性を制限する。
本稿では,マルチモーダル深層ニューラルネットワークにおける説明可能性に関する包括的調査と解説を行うため,本論文を概説する。
論文 参考訳(メタデータ) (2021-05-17T14:17:49Z) - Variants of BERT, Random Forests and SVM approach for Multimodal
Emotion-Target Sub-challenge [11.71437054341057]
本稿では,Muse-Topic Sub-Challengeの分類手法について論じる。
ALBERTとRoBERTaの2つの言語モデルをアンサンブルして10種類のトピックを予測する。
論文 参考訳(メタデータ) (2020-07-28T01:15:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。