論文の概要: Multiresolution and Multimodal Speech Recognition with Transformers

• arxiv url: http://arxiv.org/abs/2004.14840v1
• Date: Wed, 29 Apr 2020 09:32:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 10:14:46.516712
• Title: Multiresolution and Multimodal Speech Recognition with Transformers
• Title（参考訳）: トランスフォーマーを用いたマルチレゾリューション・マルチモーダル音声認識
• Authors: Georgios Paraskevopoulos, Srinivas Parthasarathy, Aparna Khare, and Shiva Sundaram
• Abstract要約: 本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。 我々は、視覚情報によって提供されるシーンコンテキストに着目して、ASRを接地する。 私たちの結果は、最先端のListen、Attend、Spellベースのアーキテクチャに匹敵します。
• 参考スコア（独自算出の注目度）: 22.995102995029576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents an audio visual automatic speech recognition (AV-ASR) system using a Transformer-based architecture. We particularly focus on the scene context provided by the visual information, to ground the ASR. We extract representations for audio features in the encoder layers of the transformer and fuse video features using an additional crossmodal multihead attention layer. Additionally, we incorporate a multitask training criterion for multiresolution ASR, where we train the model to generate both character and subword level transcriptions. Experimental results on the How2 dataset, indicate that multiresolution training can speed up convergence by around 50% and relatively improves word error rate (WER) performance by upto 18% over subword prediction models. Further, incorporating visual information improves performance with relative gains upto 3.76% over audio only models. Our results are comparable to state-of-the-art Listen, Attend and Spell-based architectures.
• Abstract（参考訳）: 本稿ではトランスフォーマーアーキテクチャを用いた音声視覚自動音声認識(AV-ASR)システムを提案する。 我々は特に、視覚情報によって提供されるシーンコンテキストに注目して、ASRを接地する。 トランスのエンコーダ層における音声特徴の表現を抽出し,さらにクロスモーダルなマルチヘッド注意層を用いてビデオ特徴をヒューズする。 さらに,マルチタスク学習基準を多分解能ASRに組み込み,文字レベルとサブワードレベルの両方の書き起こしを生成するようにモデルを訓練する。 How2データセットによる実験結果から,単語誤り率(WER)は,単語予測モデルよりも最大18%向上し,収束率を約50%向上できることが示された。 さらに、視覚情報の導入により、オーディオのみのモデルよりも3.76%向上した。 私たちの結果は最先端のリスニング、出席、スペルベースのアーキテクチャに匹敵します。

関連論文リスト

• VHASR: A Multimodal Speech Recognition System With Vision Hotwords [74.94430247036945]
  VHASRは、視覚をホットワードとして使用し、モデルの音声認識能力を強化するマルチモーダル音声認識システムである。 VHASRは、画像のキー情報を効果的に利用して、モデルの音声認識能力を高めることができる。
  論文  参考訳（メタデータ） (2024-10-01T16:06:02Z)
• Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations [16.577870835480585]
  本稿では、離散符号を用いたASRシステム構築に関する総合的な分析を行う。 本稿では,量子化スキームや時間領域,スペクトル特徴符号化などの異なる手法について検討する。 同様のビットレートでEncodecを上回るパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-07-03T20:51:41Z)
• Cascaded Cross-Modal Transformer for Audio-Textual Classification [30.643750999989233]
  本稿では,自動音声認識(ASR)モデルを用いた音声の書き起こしにより,マルチモーダル表現の固有値を活用することを提案する。 これにより、各データサンプルに対する音声テキスト(マルチモーダル)表現が得られる。 我々は、ACM Multimedia 2023 Computational Paralinguistics Challenge の Requests Sub-Challenge において、勝利のソリューションであると宣言された。
  論文  参考訳（メタデータ） (2024-01-15T10:18:08Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)
• Exploiting Transformation Invariance and Equivariance for Self-supervised Sound Localisation [32.68710772281511]
  本稿では,映像中の音源をローカライズするために,音声・視覚表現学習のための自己教師型フレームワークを提案する。 我々のモデルは、Flickr-SoundNet と VGG-Sound という2つの音像定位ベンチマークにおいて、従来の手法よりも優れていた。 このことから,提案するフレームワークは,局所化や一般化に有益である強いマルチモーダル表現を学習し,さらなる応用を図っている。
  論文  参考訳（メタデータ） (2022-06-26T03:00:02Z)
• VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text [60.97904439526213]
  video-audio-text transformer (vatt) は生の信号を入力として取り、様々な下流タスクに役立つほどリッチなマルチモーダル表現を抽出する。 マルチモーダルなコントラスト損失を用いて,vattのエンドツーエンドをスクラッチからトレーニングし,映像動作認識,音声イベント分類,画像分類,テキストからビデオへの検索といった下流タスクによってその性能を評価する。
  論文  参考訳（メタデータ） (2021-04-22T17:07:41Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)
• Many-to-Many Voice Transformer Network [55.17770019619078]
  本稿では,S2S学習フレームワークに基づく音声変換(VC)手法を提案する。 これにより、音声特性、ピッチ輪郭、入力音声の持続時間の同時変換が可能となる。
  論文  参考訳（メタデータ） (2020-05-18T04:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。