論文の概要: Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs

• arxiv url: http://arxiv.org/abs/2411.02256v1
• Date: Mon, 04 Nov 2024 16:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:39:26.227708
• Title: Unified Speech Recognition: A Single Model for Auditory, Visual, and Audiovisual Inputs
• Title（参考訳）: 統一音声認識:聴覚・視覚・視覚入力の単一モデル
• Authors: Alexandros Haliassos, Rodrigo Mira, Honglie Chen, Zoe Landgraf, Stavros Petridis, Maja Pantic,
• Abstract要約: 本稿では,音声認識システムのための統合学習戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRの性能が向上することを示す。 また,非ラベル標本をより効果的に活用するために,強欲な擬似ラベリング手法を導入する。
• 参考スコア（独自算出の注目度）: 73.74375912785689
• License:
• Abstract: Research in auditory, visual, and audiovisual speech recognition (ASR, VSR, and AVSR, respectively) has traditionally been conducted independently. Even recent self-supervised studies addressing two or all three tasks simultaneously tend to yield separate models, leading to disjoint inference pipelines with increased memory requirements and redundancies. This paper proposes unified training strategies for these systems. We demonstrate that training a single model for all three tasks enhances VSR and AVSR performance, overcoming typical optimisation challenges when training from scratch. Moreover, we introduce a greedy pseudo-labelling approach to more effectively leverage unlabelled samples, addressing shortcomings in related self-supervised methods. Finally, we develop a self-supervised pre-training method within our framework, proving its effectiveness alongside our semi-supervised approach. Despite using a single model for all tasks, our unified approach achieves state-of-the-art performance compared to recent methods on LRS3 and LRS2 for ASR, VSR, and AVSR, as well as on the newly released WildVSR dataset. Code and models are available at https://github.com/ahaliassos/usr.
• Abstract（参考訳）: 聴覚、視覚、聴覚の音声認識(ASR、VSR、AVSR)の研究は、伝統的に独立して行われている。 2つまたは全3つのタスクに同時に対処する最近の自己教師型研究でさえ、別々のモデルを生み出す傾向があり、メモリ要求と冗長性が増大する不整合推論パイプラインにつながる。 本稿では,これらのシステムに対する統一的なトレーニング戦略を提案する。 3つのタスクの1つのモデルをトレーニングすることで、VSRとAVSRのパフォーマンスが向上し、スクラッチからトレーニングする際の典型的な最適化課題を克服できることを実証する。 さらに, 自己管理手法の欠点に対処するため, より効果的に非ラベル化サンプルを活用するための, 欲張りの擬似ラベリング手法を提案する。 最後に,フレームワーク内での自己教師付き事前学習手法を開発し,その効果を半教師付きアプローチとともに証明する。 全てのタスクに1つのモデルを用いるにもかかわらず、我々の統一されたアプローチは、新しくリリースされたWildVSRデータセットと同様に、ASR、VSR、AVSRのLSS3およびLSS2の最近の手法と比較して、最先端のパフォーマンスを達成する。 コードとモデルはhttps://github.com/ahaliassos/usr.comで公開されている。

関連論文リスト

• Pseudo-triplet Guided Few-shot Composed Image Retrieval [20.130745490934597]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいてターゲット画像を取得することを目的とした課題である。 PTG-FSCIRと呼ばれる2段階の擬似三重項誘導方式を提案する。 我々の方式はプラグアンドプレイであり、既存の教師付きCIRモデルと互換性がある。
  論文  参考訳（メタデータ） (2024-07-08T14:53:07Z)
• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• Auto-AVSR: Audio-Visual Speech Recognition with Automatic Labels [100.43280310123784]
  トレーニングセットのサイズを増大させるために,未ラベルデータセットの自動書き起こしの使用について検討した。 近年の文献的傾向であるトレーニングセットのサイズが大きくなると、ノイズのある書き起こしを用いたにもかかわらずWERが減少することが実証された。 提案手法は,RS2 と LRS3 の AV-ASR 上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-25T00:37:34Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Improving speech recognition models with small samples for air traffic control systems [9.322392779428505]
  本研究では, 小さなトレーニングサンプルの課題に対処すべく, 事前学習とトランスファー学習に基づく新しいトレーニング手法を提案する。 3つの実際のATCデータセットを使用して、提案されたASRモデルとトレーニング戦略を検証する。 実験の結果,ASRの性能は3つのデータセットで大幅に向上した。
  論文  参考訳（メタデータ） (2021-02-16T08:28:52Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• How to Teach DNNs to Pay Attention to the Visual Modality in Speech Recognition [10.74796391075403]
  本研究では、AV Alignの内部動作を調査し、オーディオ・視覚アライメントパターンを可視化する。 AV Alignは、一般に単調なパターンで、TD-TIMITのフレームレベルで、音声の音響的および視覚的表現を調整することを学習している。 本稿では,視覚的表現から唇関連行動単位を予測する正規化手法を提案する。
  論文  参考訳（メタデータ） (2020-04-17T13:59:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。