論文の概要: LiteVSR: Efficient Visual Speech Recognition by Learning from Speech Representations of Unlabeled Data

• arxiv url: http://arxiv.org/abs/2312.09727v1
• Date: Fri, 15 Dec 2023 12:04:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 16:05:23.534712
• Title: LiteVSR: Efficient Visual Speech Recognition by Learning from Speech Representations of Unlabeled Data
• Title（参考訳）: LiteVSR: ラベルなしデータの音声表現から学習した効率的な視覚音声認識
• Authors: Hendrik Laux, Emil Mededovic, Ahmed Hallawa, Lukas Martin, Arne Peine, Anke Schmeink
• Abstract要約: 提案手法は,訓練されたコンフォーマーベースASRモデルから知識を抽出し,標準VSRベンチマーク上での競合性能を実現する。 我々のモデルは、数日以内に1つのコンシューマグレードのGPUでトレーニングでき、日付のハードウェア上でリアルタイムのエンドツーエンドのVSRを実行することができる。
• 参考スコア（独自算出の注目度）: 9.049193356646635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel, resource-efficient approach to Visual Speech Recognition (VSR) leveraging speech representations produced by any trained Automatic Speech Recognition (ASR) model. Moving away from the resource-intensive trends prevalent in recent literature, our method distills knowledge from a trained Conformer-based ASR model, achieving competitive performance on standard VSR benchmarks with significantly less resource utilization. Using unlabeled audio-visual data only, our baseline model achieves a word error rate (WER) of 47.4% and 54.7% on the LRS2 and LRS3 test benchmarks, respectively. After fine-tuning the model with limited labeled data, the word error rate reduces to 35% (LRS2) and 45.7% (LRS3). Our model can be trained on a single consumer-grade GPU within a few days and is capable of performing real-time end-to-end VSR on dated hardware, suggesting a path towards more accessible and resource-efficient VSR methodologies.
• Abstract（参考訳）: 本稿では,任意の訓練済み自動音声認識(asr)モデルによって生成された音声表現を活用した,視覚音声認識(vsr)に対する新しい資源効率の高いアプローチを提案する。 近年の文献では,資源集約的な傾向から離れて,訓練されたコンフォーマーベースのASRモデルから知識を抽出し,標準VSRベンチマークの競争性能を著しく低下させる。 LRS2 と LRS3 のテストベンチマークでは,ラベル付き音声視覚データのみを用いて,ワードエラー率 47.4% と 54.7% をそれぞれ達成している。 ラベル付きデータでモデルを微調整した後、単語エラー率は35%(LRS2)と45.7%(LRS3)に低下する。 我々のモデルは、数日で1つのコンシューマグレードのGPUでトレーニングでき、日付のハードウェア上でリアルタイムのエンドツーエンドのVSRを実行することができる。

関連論文リスト

• Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs [73.74375912785689]
  本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
  論文  参考訳（メタデータ） (2024-11-04T16:46:53Z)
• Enhancing CTC-Based Visual Speech Recognition [11.269066294359144]
  LiteVSR2は、以前導入した視覚音声認識に対する効率的なアプローチの拡張版である。 本稿では, 安定ビデオ前処理技術と蒸留プロセスにおける特徴正規化の2つの重要な改良点を紹介する。 LiteVSR2は前者の効率を維持しながら精度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-09-11T12:02:42Z)
• SynthVSR: Scaling Up Visual Speech Recognition With Synthetic Supervision [60.54020550732634]
  視覚音声認識(VSR)における合成視覚データの利用の可能性について検討する。 鍵となるアイデアは、入力音声に条件付き唇の動きを生成する音声駆動の唇アニメーションモデルを活用することである。 我々は,最大公的なVSRベンチマークであるLip Reading Sentences 3 (LRS3)に対するアプローチの有効性を評価する。
  論文  参考訳（メタデータ） (2023-03-30T07:43:27Z)
• Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels [100.43280310123784]
  トレーニングセットのサイズを増大させるために,未ラベルデータセットの自動書き起こしの使用について検討した。 近年の文献的傾向であるトレーニングセットのサイズが大きくなると、ノイズのある書き起こしを用いたにもかかわらずWERが減少することが実証された。 提案手法は,RS2 と LRS3 の AV-ASR 上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-25T00:37:34Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition [71.96870151495536]
  低リソース音声コマンド認識(SCR)のための新しいAR手法を提案する。 ARプロシージャは、(対象領域から)音響信号を修正して、事前訓練されたSCRモデルを再利用することを目的としている。 提案したAR-SCRシステムについて,アラビア語,リトアニア語,マンダリン語を含む3つの低リソースSCRデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-10-08T05:07:35Z)
• Multi-task Language Modeling for Improving Speech Recognition of Rare Words [14.745696312889763]
  音声認識性能を向上させるために,意図やスロット予測などのセマンティックターゲットを利用するマルチタスク学習を用いた第2パスシステムを提案する。 マルチタスク LM を用いた ASR システムは,レアワード認識のための RNN Transducer のみの ASR ベースラインと比較して,4.6% の WERR 推論を示す。
  論文  参考訳（メタデータ） (2020-11-23T20:40:44Z)
• You Do Not Need More Data: Improving End-To-End Speech Recognition by Text-To-Speech Data Augmentation [59.31769998728787]
  我々は、ASRトレーニングデータベース上にTSシステムを構築し、合成音声でデータを拡張し、認識モデルを訓練する。 テストクリーンはWER 4.3%,他のテストクリーンは13.5%で、このシステムはLibriSpeechトレインクリーン100で訓練されたエンドツーエンドASRの競争結果を確立している。
  論文  参考訳（メタデータ） (2020-05-14T17:24:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。