論文の概要: A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2403.04245v1
• Date: Thu, 7 Mar 2024 06:06:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-08 15:05:38.223763
• Title: A Study of Dropout-Induced Modality Bias on Robustness to Missing Video Frames for Audio-Visual Speech Recognition
• Title（参考訳）: 音声・映像音声認識用ビデオフレームのロバスト性に対するドロップアウト誘発モーダリティバイアスの検討
• Authors: Yusheng Dai, Hang Chen, Jun Du, Ruoyu Wang, Shihao Chen, Jiefeng Ma, Haotian Wang, Chin-Hui Lee
• Abstract要約: AVSR(Advanced Audio-Visual Speech Recognition)システムは、欠落したビデオフレームに敏感であることが観察されている。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,MDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 53.800937914403654
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Advanced Audio-Visual Speech Recognition (AVSR) systems have been observed to be sensitive to missing video frames, performing even worse than single-modality models. While applying the dropout technique to the video modality enhances robustness to missing frames, it simultaneously results in a performance loss when dealing with complete data input. In this paper, we investigate this contrasting phenomenon from the perspective of modality bias and reveal that an excessive modality bias on the audio caused by dropout is the underlying reason. Moreover, we present the Modality Bias Hypothesis (MBH) to systematically describe the relationship between modality bias and robustness against missing modality in multimodal systems. Building on these findings, we propose a novel Multimodal Distribution Approximation with Knowledge Distillation (MDA-KD) framework to reduce over-reliance on the audio modality and to maintain performance and robustness simultaneously. Finally, to address an entirely missing modality, we adopt adapters to dynamically switch decision strategies. The effectiveness of our proposed approach is evaluated and validated through a series of comprehensive experiments using the MISP2021 and MISP2022 datasets. Our code is available at https://github.com/dalision/ModalBiasAVSR
• Abstract（参考訳）: avsr(advanced audio-visual speech recognition)システムは、ビデオフレームの欠落に敏感であり、シングルモダリティモデルよりもさらに悪い。 ビデオモダリティにドロップアウト技術を適用することで、フレーム不足に対するロバスト性が向上する一方、完全なデータ入力を扱う場合、同時に性能損失が発生する。 本稿では,このコントラスト現象をモダリティバイアスの観点から検討し,ドロップアウトによる音声に対する過度なモダリティバイアスが根本原因であることを明らかにする。 さらに,マルチモーダルシステムにおけるモダリティバイアスとロバストネスの関係を体系的に記述するために,モダリティバイアス仮説(MBH)を提案する。 これらの知見に基づいて,音響モダリティの過度な信頼度を低減し,性能と堅牢性を同時に維持する,新しいMDA-KD(Multimodal Distribution Approximation with Knowledge Distillation)フレームワークを提案する。 最後に、完全に欠落したモダリティに対処するために、動的に決定戦略を切り替えるためにアダプタを採用します。 提案手法の有効性は,MISP2021とMISP2022データセットを用いた一連の総合的な実験により評価・検証される。 私たちのコードはhttps://github.com/dalision/ModalBiasAVSRで利用可能です。

関連論文リスト

• Missingness-resilient Video-enhanced Multimodal Disfluency Detection [3.3281516035025285]
  本稿では,利用可能な映像データと音声を併用したマルチモーダル・ディフルエンシ検出手法を提案する。 私たちのレジリエントなデザインは、推論中にビデオのモダリティが欠落することがある現実世界のシナリオに対応しています。 5つのディフルエンシ検出タスクにわたる実験において、我々の統合マルチモーダルアプローチは、オーディオのみのアンモダル法よりも顕著に優れている。
  論文  参考訳（メタデータ） (2024-06-11T05:47:16Z)
• Exploring Missing Modality in Multimodal Egocentric Datasets [89.76463983679058]
  モダリティが欠如している場合でも,MMT(Missing Modality Token)という新しい概念を導入してパフォーマンスを維持する。 テストセットの半分がモダル不完全である場合、元の$sim 30%$ dropから$sim 10%$に減らします。
  論文  参考訳（メタデータ） (2024-01-21T11:55:42Z)
• CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling [21.380988939240844]
  ビデオとオーディオの双方向条件生成に適したマルチモーダル拡散モデルを提案する。 本稿では,視覚と聴覚の同期を改善するために,協調学習損失を提案する。
  論文  参考訳（メタデータ） (2023-12-08T23:55:19Z)
• Multimodal Imbalance-Aware Gradient Modulation for Weakly-supervised Audio-Visual Video Parsing [107.031903351176]
  弱分離型音声視覚ビデオ解析(WS-AVVP)は、音声、視覚および音声視覚イベントインスタンスの時間的範囲をローカライズすることを目的としている。 WS-AVVPは、トレーニング用にビデオレベルのカテゴリラベルのみを使用して、対応するイベントカテゴリを特定することを目的としている。
  論文  参考訳（メタデータ） (2023-07-05T05:55:10Z)
• Cross-Attention is Not Enough: Incongruity-Aware Dynamic Hierarchical Fusion for Multimodal Affect Recognition [69.32305810128994]
  モダリティ間の同調性は、特に認知に影響を及ぼすマルチモーダル融合の課題となる。 本稿では,動的モダリティゲーティング(HCT-DMG)を用いた階層型クロスモーダルトランスを提案する。 HCT-DMG: 1) 従来のマルチモーダルモデルを約0.8Mパラメータで上回り、2) 不整合が認識に影響を及ぼすハードサンプルを認識し、3) 潜在レベルの非整合性をクロスモーダルアテンションで緩和する。
  論文  参考訳（メタデータ） (2023-05-23T01:24:15Z)
• Self-attention fusion for audiovisual emotion recognition with incomplete data [103.70855797025689]
  視覚的感情認識を応用したマルチモーダルデータ解析の問題点を考察する。 本稿では、生データから学習可能なアーキテクチャを提案し、その3つの変種を異なるモダリティ融合機構で記述する。
  論文  参考訳（メタデータ） (2022-01-26T18:04:29Z)
• Multi-Modal Perception Attention Network with Self-Supervised Learning for Audio-Visual Speaker Tracking [18.225204270240734]
  音声と視覚の両方を用いた話者追跡のための新しいマルチモーダル・パーセプション・トラッカー(MPT)を提案する。 MPTは標準データセットと排他データセットでそれぞれ98.6%と78.3%のトラッキング精度を達成した。
  論文  参考訳（メタデータ） (2021-12-14T14:14:17Z)
• Modality Compensation Network: Cross-Modal Adaptation for Action Recognition [77.24983234113957]
  異なるモダリティの関係を探索するためのモダリティ補償ネットワーク(MCN)を提案する。 我々のモデルは、適応表現学習を実現するために、モーダリティ適応ブロックによって、ソースおよび補助モーダリティからのデータをブリッジする。 実験の結果,MCNは4つの広く使用されている行動認識ベンチマークにおいて,最先端のアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-31T04:51:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。