論文の概要: Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Realistic Incomplete Data Scenarios

• arxiv url: http://arxiv.org/abs/2311.16114v1
• Date: Thu, 21 Sep 2023 10:49:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-15 15:24:01.136518
• Title: Learning Noise-Robust Joint Representation for Multimodal Emotion Recognition under Realistic Incomplete Data Scenarios
• Title（参考訳）: 現実的不完全データシナリオにおけるマルチモーダル感情認識のための学習ノイズロバスト結合表現
• Authors: Qi Fan (1), Haolin Zuo (1), Rui Liu (1), Zheng Lian (2) and Guanglai Gao (1) ((1) Inner Mongolia University, Hohhot, China, (2) Institute of Automation, Chinese Academy of Sciences, Beijing, China)
• Abstract要約: 我々は,NMER という新しいノイズロス型マルチモーダル感情認識(MER)モデルを提案する。 まず、トレーニングデータにおけるノイズの種類とレベルを調整するノイズスケジューラを導入する。 次に, 可変オートエンコーダ(VAE)に基づくNMERモデルを用いて, 雑音データからロバストなマルチモーダル関節表現を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal emotion recognition (MER) in practical scenarios presents a significant challenge due to the presence of incomplete data, such as missing or noisy data. Traditional methods often discard missing data or replace it with a zero vector, neglecting the availability issue of noisy data. Consequently, these approaches are not fully applicable to realistic scenarios, where both missing and noisy data are prevalent. To address this problem, we propose a novel noise-robust MER model, named NMER, which effectively learns robust multimodal joint representations from incomplete data containing noise. Our approach incorporates two key components. First, we introduce a noise scheduler that adjusts the type and level of noise in the training data, emulating the characteristics of incomplete data in realistic scenarios. Second, we employ a Variational AutoEncoder (VAE)-based NMER model to generate robust multimodal joint representations from the noisy data, leveraging the modality invariant feature. The experimental results on the benchmark dataset IEMOCAP indicate the proposed NMER outperforms state-of-the-art MER systems. The ablation results also confirm the effectiveness of the VAE structure. We release our code at \href{https://github.com/WooyoohL/Noise-robust_MER.
• Abstract（参考訳）: 実践シナリオにおけるマルチモーダル感情認識(MER)は、欠落や騒々しいデータなど不完全なデータが存在するため、重大な課題となる。 従来の方法は、欠落したデータを捨てたり、ゼロベクターに置き換えたりして、ノイズの多いデータの可用性の問題を無視したりします。 その結果、これらのアプローチは、欠落したデータとノイズの多いデータが混在する現実的なシナリオに完全には適用できない。 この問題に対処するため,ノイズを含む不完全データから頑健なマルチモーダル関節表現を効果的に学習するNMERという新しいノイズロスモデルを提案する。 このアプローチには2つの重要なコンポーネントが組み込まれています。 まず,訓練データにおけるノイズの種類やレベルを調整し,現実的なシナリオにおける不完全なデータの特徴をエミュレートするノイズスケジューラを提案する。 次に,変分オートエンコーダ(VAE)に基づくNMERモデルを用いて,雑音データからロバストなマルチモーダルな関節表現を生成し,モダリティ不変性を利用する。 ベンチマークデータセットIEMOCAPの実験結果は、提案したNMERが最先端のMERシステムより優れていることを示している。 アブレーション結果は,VAE構造の有効性も確認した。 私たちはコードを \href{https://github.com/wooyoohl/noise-robust_merでリリースします。

関連論文リスト

• Robust Learning under Hybrid Noise [24.36707245704713]
  本稿では,データリカバリの観点からハイブリッドノイズに対処するため,新たな統合学習フレームワーク"Feature and Label Recovery"(FLR)を提案する。
  論文  参考訳（メタデータ） (2024-07-04T16:13:25Z)
• Relation Modeling and Distillation for Learning with Noisy Labels [4.556974104115929]
  本稿では,自己教師型学習を通して,サンプル間の関係をモデル化する関係モデリングと蒸留の枠組みを提案する。 提案手法は,ノイズの多いデータに対する識別表現を学習し,既存の手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-30T01:47:27Z)
• NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition [3.726602636064681]
  そこで本研究では,実雑音がシミュレーションノイズよりもはるかに難易度が高いことを示す。 ノイズロスト学習の最先端モデルが理論的に達成可能な上限よりもはるかに低くなることを示す。
  論文  参考訳（メタデータ） (2024-05-13T10:20:31Z)
• Transferring Annotator- and Instance-dependent Transition Matrix for Learning from Crowds [88.06545572893455]
  現実のクラウドソーシングシナリオでは、ノイズ遷移行列はアノテータとインスタンスに依存します。 まず、すべてのアノテータによるノイズパターンの混合をモデル化し、その後、個々のアノテータにこのモデリングを転送する。 実験により、合成および実世界のクラウドソーシングデータに対する提案手法の優位性が確認された。
  論文  参考訳（メタデータ） (2023-06-05T13:43:29Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Confidence-based Reliable Learning under Dual Noises [46.45663546457154]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 しかし、オープンワールドから収集されたデータはノイズによって必然的に汚染され、学習されたモデルの有効性を著しく損なう可能性がある。 データノイズ下でDNNを確実に訓練する様々な試みがなされているが、ラベルに存在するノイズと画像に存在するノイズを別々に考慮している。 この作業は、ジョイント(イメージ、ラベル)ノイズの下での信頼性学習のための、最初の統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-10T07:50:34Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Representation Learning for the Automatic Indexing of Sound Effects Libraries [79.68916470119743]
  タスク固有のがデータセットに依存しない表現は、クラス不均衡、一貫性のないクラスラベル、不十分なデータセットサイズなどのデータ問題にうまく対処できることを示す。 詳細な実験結果は、メトリック学習アプローチと異なるデータセット間の学習方法が表現効率に与える影響を示している。
  論文  参考訳（メタデータ） (2022-08-18T23:46:13Z)
• Self-attention fusion for audiovisual emotion recognition with incomplete data [103.70855797025689]
  視覚的感情認識を応用したマルチモーダルデータ解析の問題点を考察する。 本稿では、生データから学習可能なアーキテクチャを提案し、その3つの変種を異なるモダリティ融合機構で記述する。
  論文  参考訳（メタデータ） (2022-01-26T18:04:29Z)
• Uncertainty-Aware Multi-View Representation Learning [53.06828186507994]
  動的不確実性認識ネットワーク(DUA-Nets)と呼ばれる新しい教師なし多視点学習手法を考案する。 生成視点から推定されるデータの不確実性により、複数の視点からの固有情報が統合され、ノイズのない表現が得られる。 本モデルでは, 広範囲な実験において優れた性能を示し, ノイズの多いデータに対するロバスト性を示す。
  論文  参考訳（メタデータ） (2022-01-15T07:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。