論文の概要: MER 2023: Multi-label Learning, Modality Robustness, and Semi-Supervised
Learning
- arxiv url: http://arxiv.org/abs/2304.08981v1
- Date: Tue, 18 Apr 2023 13:23:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-19 14:41:34.906991
- Title: MER 2023: Multi-label Learning, Modality Robustness, and Semi-Supervised
Learning
- Title(参考訳): MER 2023:マルチラベル学習、モダリティロバストネス、半教師付き学習
- Authors: Zheng Lian, Haiyang Sun, Licai Sun, Jinming Zhao, Ye Liu, Bin Liu,
Jiangyan Yi, Meng Wang, Erik Cambria, Guoying Zhao, Bj\"orn W. Schuller,
Jianhua Tao
- Abstract要約: 我々は,グローバル研究者に革新的な技術開発を動機付けるために,マルチモーダル感情認識チャレンジ(MER 2023)を立ち上げる。
今年の課題として,(1)MER-MULTI,(2)MER-NOISE,(3)MER-SEMI,(3)MER-SEMI,(3)MER-MULTI,(2)MER-NOISE,(2)MER-NOISE,(3)MER-SEM Iの3つのサブチャレンジを紹介した。
MER-MULTIの平均2乗誤差(MSE)は,F1スコアで77.57%,0.82,MER-MULTIで69。
- 参考スコア(独自算出の注目度): 92.90776025346081
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past few decades, multimodal emotion recognition has made remarkable
progress with the development of deep learning. However, existing technologies
are difficult to meet the demand for practical applications. To improve the
robustness, we launch a Multimodal Emotion Recognition Challenge (MER 2023) to
motivate global researchers to build innovative technologies that can further
accelerate and foster research. For this year's challenge, we present three
distinct sub-challenges: (1) MER-MULTI, in which participants recognize both
discrete and dimensional emotions; (2) MER-NOISE, in which noise is added to
test videos for modality robustness evaluation; (3) MER-SEMI, which provides
large amounts of unlabeled samples for semi-supervised learning. In this paper,
we test a variety of multimodal features and provide a competitive baseline for
each sub-challenge. Our system achieves 77.57% on the F1 score and 0.82 on the
mean squared error (MSE) for MER-MULTI, 69.82% on the F1 score and 1.12 on MSE
for MER-NOISE, and 86.75% on the F1 score for MER-SEMI, respectively. Baseline
code is available at https://github.com/zeroQiaoba/MER2023-Baseline.
- Abstract(参考訳): 過去数十年間、マルチモーダルな感情認識は、ディープラーニングの発展において顕著な進歩を遂げてきた。
しかし,既存の技術は実用化への需要を満たすことは困難である。
この堅牢性を向上させるため,我々はグローバル研究者が研究をさらに加速し促進する革新的な技術を構築する動機となるマルチモーダル感情認識チャレンジ(MER 2023)を立ち上げた。
今年の課題として,(1)参加者が離散的感情と次元的感情の両方を認識するmer-multi,(2)モダリティ・ロバスト性評価のための映像にノイズを付加するmer-noise,(3)半教師付き学習のためのラベルなしサンプルを大量に提供するmer-semiの3つの下位課題を提示した。
本稿では,様々なマルチモーダル機能をテストし,各サブキャレンジに対して競争力のあるベースラインを提供する。
MER-MULTIの平均2乗誤差(MSE)は77.57%,MER-NOISEでは69.82%,MER-NOISEでは1.12,MER-SEMIでは86.75%であった。
ベースラインコードはhttps://github.com/zeroqiaoba/mer2023-baseline。
関連論文リスト
- MER 2024: Semi-Supervised Learning, Noise Robustness, and Open-Vocabulary Multimodal Emotion Recognition [102.76954967225231]
我々は感情認識に関する一連の課題を組織する予定です。
昨年、私たちはMER2023を立ち上げ、マルチラベル学習、ノイズ、堅牢性、半教師付き学習という3つのトピックに焦点を当てました。
今年は、MER2024の組織化を継続し、オープン語彙の感情認識に関する新たなトラックを導入します。
論文 参考訳(メタデータ) (2024-04-26T02:05:20Z) - MIPS at SemEval-2024 Task 3: Multimodal Emotion-Cause Pair Extraction in Conversations with Multimodal Language Models [13.137392771279742]
本稿では,SemEval 2024 Task 3 の Subtask 2 に対して,会話におけるマルチモーダル感情の原因分析について提案する。
本稿では,テキスト,音声,視覚的モダリティを統合した新しいマルチモーダル感情認識・マルチモーダル感情原因抽出フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-31T01:16:02Z) - Are We on the Right Way for Evaluating Large Vision-Language Models? [92.5761176224556]
大規模視覚言語モデル(LVLM)は、最近急速に進歩し、そのマルチモーダル能力を評価するために多くの研究を巻き起こした。
視覚コンテンツは多くのサンプルに対して不要であり、意図的なデータ漏洩が存在する。
本稿では,人間によって精巧に選択された1500個のサンプルからなる,高度に視覚に欠かせないマルチモーダルベンチマークMMStarを提案する。
論文 参考訳(メタデータ) (2024-03-29T17:59:34Z) - The MuSe 2023 Multimodal Sentiment Analysis Challenge: Mimicked
Emotions, Cross-Cultural Humour, and Personalisation [69.13075715686622]
MuSe 2023は、現代の3つの異なるマルチモーダル感情と感情分析の問題に対処する共有タスクの集合である。
MuSe 2023は、さまざまな研究コミュニティから幅広いオーディエンスを集めようとしている。
論文 参考訳(メタデータ) (2023-05-05T08:53:57Z) - Multimodal Emotion Recognition with Modality-Pairwise Unsupervised
Contrastive Loss [80.79641247882012]
マルチモーダル感情認識(MER)のための教師なし特徴学習に着目した。
個別の感情を考慮し、モダリティテキスト、音声、視覚が使用される。
本手法は, 対のモダリティ間のコントラスト損失に基づくもので, MER文学における最初の試みである。
論文 参考訳(メタデータ) (2022-07-23T10:11:24Z) - NTIRE 2021 Multi-modal Aerial View Object Classification Challenge [88.89190054948325]
CVPR の NTIRE 2021 ワークショップと共同で,MAVOC (Multi-modal Aerial View Object Classification) の最初の挑戦を紹介した。
この課題は、EOとSAR画像を用いた2つの異なるトラックで構成されている。
本コンペティションで提案した最上位の手法について検討し,その成果を目視テストセットで評価する。
論文 参考訳(メタデータ) (2021-07-02T16:55:08Z) - ChaLearn LAP Large Scale Signer Independent Isolated Sign Language
Recognition Challenge: Design, Results and Future Research [28.949528008976493]
この研究はCVPR 2021で組織されたChaLearn LAP Large Scale Signer Independent Isolated SLR Challengeをまとめたものである。
我々は、チャレンジデザイン、トップ入賞ソリューション、今後の研究への提案について論じる。
優勝チームは96%以上の認識率を達成し、そのアプローチはポーズ/ハンド/フェイス推定、転送学習、外部データ、モダリティの融合/アンサンブル、モデル時系列情報への異なる戦略から恩恵を受けた。
論文 参考訳(メタデータ) (2021-05-11T14:17:39Z) - The Multimodal Sentiment Analysis in Car Reviews (MuSe-CaR) Dataset:
Collection, Insights and Improvements [14.707930573950787]
この種のマルチモーダルデータセットの1つである MuSe-CaR について述べる。
このデータは、最近第1回マルチモーダルセンチメント分析チャレンジのテストベッドとして公開された。
論文 参考訳(メタデータ) (2021-01-15T10:40:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。