論文の概要: Robust Audiovisual Speech Recognition Models with Mixture-of-Experts

• arxiv url: http://arxiv.org/abs/2409.12370v1
• Date: Thu, 19 Sep 2024 00:08:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 15:14:47.120133
• Title: Robust Audiovisual Speech Recognition Models with Mixture-of-Experts
• Title（参考訳）: 混合実験によるロバスト音声認識モデル
• Authors: Yihan Wu, Yifan Peng, Yichen Lu, Xuankai Chang, Ruihua Song, Shinji Watanabe,
• Abstract要約: EVAを導入し、オーディオVisual ASRのミックス・オブ・エクササイズを利用して、Wildのビデオに対してロバストな音声認識を行う。 まず、視覚情報を視覚トークンシーケンスにエンコードし、それらを軽量な投影により音声空間にマッピングする。 実験により,本モデルが3つのベンチマークで最先端の結果が得られることが示された。
• 参考スコア（独自算出の注目度）: 67.75334989582709
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual signals can enhance audiovisual speech recognition accuracy by providing additional contextual information. Given the complexity of visual signals, an audiovisual speech recognition model requires robust generalization capabilities across diverse video scenarios, presenting a significant challenge. In this paper, we introduce EVA, leveraging the mixture-of-Experts for audioVisual ASR to perform robust speech recognition for ``in-the-wild'' videos. Specifically, we first encode visual information into visual tokens sequence and map them into speech space by a lightweight projection. Then, we build EVA upon a robust pretrained speech recognition model, ensuring its generalization ability. Moreover, to incorporate visual information effectively, we inject visual information into the ASR model through a mixture-of-experts module. Experiments show our model achieves state-of-the-art results on three benchmarks, which demonstrates the generalization ability of EVA across diverse video domains.
• Abstract（参考訳）: 視覚信号は、追加の文脈情報を提供することで、音声認識の精度を高めることができる。 視覚信号の複雑さを考えると、音声視覚音声認識モデルは様々なビデオシナリオにまたがる堅牢な一般化機能を必要とし、重要な課題を提示する。 本稿では,オーディオVisual ASRのミックス・オブ・エクササイズを利用して,<in-the-wild'ビデオに対してロバストな音声認識を行うEVAを紹介する。 具体的には、まず視覚情報を視覚トークンシーケンスにエンコードし、それらを軽量な投影により音声空間にマッピングする。 そこで我々は,頑健な事前学習音声認識モデルに基づいてEVAを構築し,その一般化能力を確保する。 さらに,視覚情報を効果的に組み込むために,知識混合モジュールを用いて視覚情報をASRモデルに注入する。 実験により,本モデルが3つのベンチマークで最先端の結果を達成し,多様なビデオ領域にまたがるEVAの一般化能力を実証した。

関連論文リスト

• CLIP-VAD: Exploiting Vision-Language Models for Voice Activity Detection [2.110168344647122]
  音声活動検出(Voice Activity Detection, VAD)は、人が話しているかどうかを自動的に判断し、発話のタイミングを識別するプロセスである。 コントラスト言語-画像事前学習(CLIP)モデルを利用した新しい手法を提案する。 提案手法は,その単純さに拘わらず,広範囲なオーディオ視覚データセットの事前学習を必要とせず,複数のオーディオ視覚法より優れる。
  論文  参考訳（メタデータ） (2024-10-18T14:43:34Z)
• VHASR: A Multimodal Speech Recognition System With Vision Hotwords [74.94430247036945]
  VHASRは、視覚をホットワードとして使用し、モデルの音声認識能力を強化するマルチモーダル音声認識システムである。 VHASRは、画像のキー情報を効果的に利用して、モデルの音声認識能力を高めることができる。
  論文  参考訳（メタデータ） (2024-10-01T16:06:02Z)
• Efficient Training for Multilingual Visual Speech Recognition: Pre-training with Discretized Visual Speech Representation [55.15299351110525]
  本稿では,1つの訓練されたモデルで異なる言語を認識可能な文レベル多言語視覚音声認識(VSR)について検討する。 視覚音声単位を用いた新しい学習手法を提案する。 我々は、従来の言語固有のVSRモデルに匹敵する性能を達成し、最先端の多言語VSRのパフォーマンスを新たに設定した。
  論文  参考訳（メタデータ） (2024-01-18T08:46:02Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• A multimodal dynamical variational autoencoder for audiovisual speech representation learning [23.748108659645844]
  MDVAE (Multimodal and dynamical VAE) は、教師なし音声・視覚的音声表現学習に適用される。 実験には、音声視覚音声の操作、音声視覚の表情の認知、音声視覚の感情認識などが含まれる。
  論文  参考訳（メタデータ） (2023-05-05T14:37:26Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• VATLM: Visual-Audio-Text Pre-Training with Unified Masked Prediction for Speech Representation Learning [119.49605266839053]
  VATLM (Visual-Audio-Text Language Model) を用いたクロスモーダル表現学習フレームワークを提案する。 提案したVATLMは、モダリティに依存しない情報をモデル化するために、統一されたバックボーンネットワークを使用する。 これら3つのモダリティを1つの共有セマンティック空間に統合するために、VATLMは統一トークンのマスク付き予測タスクで最適化される。
  論文  参考訳（メタデータ） (2022-11-21T09:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。