論文の概要: Learning Noise-Robust Joint Representation for Multimodal Emotion
Recognition under Realistic Incomplete Data Scenarios
- arxiv url: http://arxiv.org/abs/2311.16114v1
- Date: Thu, 21 Sep 2023 10:49:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-15 15:24:01.136518
- Title: Learning Noise-Robust Joint Representation for Multimodal Emotion
Recognition under Realistic Incomplete Data Scenarios
- Title(参考訳): 現実的不完全データシナリオにおけるマルチモーダル感情認識のための学習ノイズロバスト結合表現
- Authors: Qi Fan (1), Haolin Zuo (1), Rui Liu (1), Zheng Lian (2) and Guanglai
Gao (1) ((1) Inner Mongolia University, Hohhot, China, (2) Institute of
Automation, Chinese Academy of Sciences, Beijing, China)
- Abstract要約: 我々は,NMER という新しいノイズロス型マルチモーダル感情認識(MER)モデルを提案する。
まず、トレーニングデータにおけるノイズの種類とレベルを調整するノイズスケジューラを導入する。
次に, 可変オートエンコーダ(VAE)に基づくNMERモデルを用いて, 雑音データからロバストなマルチモーダル関節表現を生成する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal emotion recognition (MER) in practical scenarios presents a
significant challenge due to the presence of incomplete data, such as missing
or noisy data. Traditional methods often discard missing data or replace it
with a zero vector, neglecting the availability issue of noisy data.
Consequently, these approaches are not fully applicable to realistic scenarios,
where both missing and noisy data are prevalent. To address this problem, we
propose a novel noise-robust MER model, named NMER, which effectively learns
robust multimodal joint representations from incomplete data containing noise.
Our approach incorporates two key components. First, we introduce a noise
scheduler that adjusts the type and level of noise in the training data,
emulating the characteristics of incomplete data in realistic scenarios.
Second, we employ a Variational AutoEncoder (VAE)-based NMER model to generate
robust multimodal joint representations from the noisy data, leveraging the
modality invariant feature. The experimental results on the benchmark dataset
IEMOCAP indicate the proposed NMER outperforms state-of-the-art MER systems.
The ablation results also confirm the effectiveness of the VAE structure. We
release our code at \href{https://github.com/WooyoohL/Noise-robust_MER.
- Abstract(参考訳): 実践シナリオにおけるマルチモーダル感情認識(MER)は、欠落や騒々しいデータなど不完全なデータが存在するため、重大な課題となる。
従来の方法は、欠落したデータを捨てたり、ゼロベクターに置き換えたりして、ノイズの多いデータの可用性の問題を無視したりします。
その結果、これらのアプローチは、欠落したデータとノイズの多いデータが混在する現実的なシナリオに完全には適用できない。
この問題に対処するため,ノイズを含む不完全データから頑健なマルチモーダル関節表現を効果的に学習するNMERという新しいノイズロスモデルを提案する。
このアプローチには2つの重要なコンポーネントが組み込まれています。
まず,訓練データにおけるノイズの種類やレベルを調整し,現実的なシナリオにおける不完全なデータの特徴をエミュレートするノイズスケジューラを提案する。
次に,変分オートエンコーダ(VAE)に基づくNMERモデルを用いて,雑音データからロバストなマルチモーダルな関節表現を生成し,モダリティ不変性を利用する。
ベンチマークデータセットIEMOCAPの実験結果は、提案したNMERが最先端のMERシステムより優れていることを示している。
アブレーション結果は,VAE構造の有効性も確認した。
私たちはコードを \href{https://github.com/wooyoohl/noise-robust_merでリリースします。
関連論文リスト
- FedA3I: Annotation Quality-Aware Aggregation for Federated Medical Image
Segmentation against Heterogeneous Annotation Noise [10.417576145123256]
フェデレートラーニング(FL)は、分散医療データに基づいてセグメンテーションモデルをトレーニングするための有望なパラダイムとして登場した。
本稿では,この問題を初めて特定し,対処する。
2つの実世界の医療画像セグメンテーションデータセットの実験は、最先端のアプローチに対するFedA$3$Iの優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-12-20T08:42:57Z) - Noisy Pair Corrector for Dense Retrieval [59.312376423104055]
ノイズペアコレクタ(NPC)と呼ばれる新しい手法を提案する。
NPCは検出モジュールと修正モジュールから構成される。
我々は,テキスト検索ベンチマークのNatural QuestionとTriviaQA,コード検索ベンチマークのStaQCとSO-DSで実験を行った。
論文 参考訳(メタデータ) (2023-11-07T08:27:14Z) - Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。
本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。
RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
論文 参考訳(メタデータ) (2023-05-23T12:56:01Z) - Confidence-based Reliable Learning under Dual Noises [46.45663546457154]
ディープニューラルネットワーク(DNN)は、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。
しかし、オープンワールドから収集されたデータはノイズによって必然的に汚染され、学習されたモデルの有効性を著しく損なう可能性がある。
データノイズ下でDNNを確実に訓練する様々な試みがなされているが、ラベルに存在するノイズと画像に存在するノイズを別々に考慮している。
この作業は、ジョイント(イメージ、ラベル)ノイズの下での信頼性学習のための、最初の統一されたフレームワークを提供する。
論文 参考訳(メタデータ) (2023-02-10T07:50:34Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。
DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。
DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
論文 参考訳(メタデータ) (2022-04-27T03:44:18Z) - Learning with Noisy Labels Revisited: A Study Using Real-World Human
Annotations [54.400167806154535]
ノイズラベルを用いた学習に関する既存の研究は、主に合成ラベルノイズに焦点を当てている。
本研究は2つの新しいベンチマークデータセット(CIFAR-10N, CIFAR-100N)を示す。
実世界のノイズラベルは古典的に採用されたクラス依存のラベルではなく、インスタンス依存のパターンに従うことを示す。
論文 参考訳(メタデータ) (2021-10-22T22:42:11Z) - Generation and Analysis of Feature-Dependent Pseudo Noise for Training
Deep Neural Networks [0.0]
ノイズの多いラベル付きデータセット上でディープニューラルネットワーク(DNN)をトレーニングすることは難しい問題である。
そこで我々は,DNNのトレーニング予測を,真のラベル情報を保持するクリーンデータセット上で利用することにより,特徴依存型ノイズデータセットを作成するための直感的なアプローチを提案する。
我々は,Pseudoノイズデータセットが,異なる条件における特徴依存ノイズデータセットに類似していることを確認するために,いくつかの実験を行った。
論文 参考訳(メタデータ) (2021-05-22T19:15:26Z) - Bridging the Gap Between Clean Data Training and Real-World Inference
for Spoken Language Understanding [76.89426311082927]
既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。
本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。
広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
論文 参考訳(メタデータ) (2021-04-13T17:54:33Z) - Tackling Instance-Dependent Label Noise via a Universal Probabilistic
Model [80.91927573604438]
本稿では,ノイズラベルをインスタンスに明示的に関連付ける,単純かつ普遍的な確率モデルを提案する。
合成および実世界のラベルノイズを用いたデータセット実験により,提案手法がロバスト性に大きな改善をもたらすことを確認した。
論文 参考訳(メタデータ) (2021-01-14T05:43:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。