Fugu-MT 論文翻訳(概要): ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation

論文の概要: ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation

arxiv url: http://arxiv.org/abs/2407.17772v1
Date: Thu, 25 Jul 2024 05:02:27 GMT
ステータス: 処理完了
システム内更新日: 2024-07-26 15:17:52.204260
Title: ERIT Lightweight Multimodal Dataset for Elderly Emotion Recognition and Multimodal Fusion Evaluation
Title（参考訳）: 高齢者の感情認識のためのERIT軽量マルチモーダルデータセットとマルチモーダル融合評価
Authors: Rita Frieske, Bertrand E. Shi,
Abstract要約: ERITは、軽量なマルチモーダル融合の研究を容易にするために設計された、新しいマルチモーダルデータセットである。さまざまな状況に反応する高齢者のビデオから収集されたテキストと画像データと、データサンプルごとに7つの感情ラベルが含まれている。
参考スコア（独自算出の注目度）: 35.10226782746507
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: ERIT is a novel multimodal dataset designed to facilitate research in a lightweight multimodal fusion. It contains text and image data collected from videos of elderly individuals reacting to various situations, as well as seven emotion labels for each data sample. Because of the use of labeled images of elderly users reacting emotionally, it is also facilitating research on emotion recognition in an underrepresented age group in machine learning visual emotion recognition. The dataset is validated through comprehensive experiments indicating its importance in neural multimodal fusion research.
Abstract（参考訳）: ERITは、軽量なマルチモーダル融合の研究を容易にするために設計された、新しいマルチモーダルデータセットである。さまざまな状況に反応する高齢者のビデオから収集されたテキストと画像データと、データサンプルごとに7つの感情ラベルが含まれている。高齢者のラベル付きイメージを感情的に反応させることにより、機械学習の視覚的感情認識において、未表現の年齢層における感情認識の研究も促進されている。このデータセットは、神経多モード融合研究におけるその重要性を示す包括的な実験によって検証される。

関連論文リスト

Smile upon the Face but Sadness in the Eyes: Emotion Recognition based on Facial Expressions and Eye Behaviors [63.194053817609024]
視覚行動は、視覚行動支援型マルチモーダル感情認識データセットを作成するための重要な感情的手がかりとなる。 EMERデータセットに感情認識(ER)と表情認識(FER)の両方のアノテーションを初めて提供する。具体的には、ERとFERの両方のパフォーマンスを同時に向上する新しいEMERTアーキテクチャを設計する。
論文参考訳（メタデータ） (2024-11-08T04:53:55Z)
Hypergraph Multi-modal Large Language Model: Exploiting EEG and Eye-tracking Modalities to Evaluate Heterogeneous Responses for Video Understanding [25.4933695784155]
ビデオの創造性と内容の理解はしばしば個人によって異なり、年齢、経験、性別によって焦点や認知レベルが異なる。実世界のアプリケーションとのギャップを埋めるために,ビデオデータセット用の大規模主観応答指標を導入する。我々は,異なるユーザ間での映像コンテンツの認知的理解度を分析し,評価するためのタスクとプロトコルを開発した。
論文参考訳（メタデータ） (2024-07-11T03:00:26Z)
EIT-1M: One Million EEG-Image-Text Pairs for Human Visual-textual Recognition and More [10.918317402874665]
我々は,100万以上のEEG-image-textペアを持つ,EIT-1Mという新しい大規模マルチモーダルデータセットを提案する。我々のデータセットは、マルチモーダル情報の同時処理において、脳活動を反映する能力に優れている。我々は、さまざまなカテゴリや参加者のマルチモーダル刺激から得られる脳波データの詳細な分析と、透明性のためのデータ品質スコアを提供する。
論文参考訳（メタデータ） (2024-07-02T02:11:15Z)
FAF: A novel multimodal emotion recognition approach integrating face, body and text [13.485538135494153]
我々は、感情認識作業を容易にするために、大規模マルチモーダル感情データセット「HED」を構築した。認識の精度を高めるため,重要な感情情報の探索に「特徴アフター・フィーチャー」フレームワークが用いられた。我々は、"HED"データセットの評価に様々なベンチマークを使用し、その性能を本手法と比較した。
論文参考訳（メタデータ） (2022-11-20T14:43:36Z)
Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文参考訳（メタデータ） (2022-10-05T13:14:57Z)
VISTANet: VIsual Spoken Textual Additive Net for Interpretable Multimodal Emotion Recognition [21.247650660908484]
本稿では、VISTANet(Visual Textual Additive Net)というマルチモーダル感情認識システムを提案する。 VISTANetは、早期と後期の融合のハイブリッドを用いて、画像、音声、テキストのモダリティから情報を融合する。 KAAP技術は、特定の感情のクラスを予測するために、各モダリティとそれに対応する特徴の寄与を計算する。
論文参考訳（メタデータ） (2022-08-24T11:35:51Z)
Multimodal Emotion Recognition with Modality-Pairwise Unsupervised Contrastive Loss [80.79641247882012]
マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
論文参考訳（メタデータ） (2022-07-23T10:11:24Z)
Multimodal Image Synthesis and Editing: The Generative AI Era [131.9569600472503]
マルチモーダル画像合成と編集は近年ホットな研究テーマになっている。近年のマルチモーダル画像合成・編集の進歩を包括的に理解している。ベンチマークデータセットと評価指標と,それに対応する実験結果について述べる。
論文参考訳（メタデータ） (2021-12-27T10:00:16Z)
Attentive Cross-modal Connections for Deep Multimodal Wearable-based Emotion Recognition [7.559720049837459]
本稿では、畳み込みニューラルネットワーク間で情報を共有するための、新しい注意深いクロスモーダル接続を提案する。具体的には、EDAとECGの中間表現を共有することにより、感情分類を改善する。実験の結果,提案手法は強いマルチモーダル表現を学習し,多くのベースライン法より優れていることがわかった。
論文参考訳（メタデータ） (2021-08-04T18:40:32Z)
Affective Image Content Analysis: Two Decades Review and New Perspectives [132.889649256384]
我々は,過去20年間の情緒的イメージコンテンツ分析(AICA)の発展を包括的にレビューする。我々は、感情的ギャップ、知覚主観性、ラベルノイズと欠如という3つの主要な課題に関して、最先端の手法に焦点を当てる。画像の内容やコンテキスト理解,グループ感情クラスタリング,ビューアーとイメージのインタラクションなど,今後の課題や研究の方向性について論じる。
論文参考訳（メタデータ） (2021-06-30T15:20:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。