論文の概要: Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2501.04038v1
• Date: Fri, 03 Jan 2025 10:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:55:00.250916
• Title: Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition
• Title（参考訳）: 聴取と視聴: 音声認識における生成誤差補正
• Authors: Rui Liu, Hongyu Yuan, Haizhou Li,
• Abstract要約: 「我々はAVSRのための新しいGERパラダイム、AVGERを提案し、それを聴いて再び見るという概念に従っている。」 AVGERは、現在の主流のAVSRシステムと比較して、ワードエラー率(WER)を24%削減できる。
• 参考スコア（独自算出の注目度）: 39.206005299985605
• License:
• Abstract: Unlike traditional Automatic Speech Recognition (ASR), Audio-Visual Speech Recognition (AVSR) takes audio and visual signals simultaneously to infer the transcription. Recent studies have shown that Large Language Models (LLMs) can be effectively used for Generative Error Correction (GER) in ASR by predicting the best transcription from ASR-generated N-best hypotheses. However, these LLMs lack the ability to simultaneously understand audio and visual, making the GER approach challenging to apply in AVSR. In this work, we propose a novel GER paradigm for AVSR, termed AVGER, that follows the concept of ``listening and seeing again''. Specifically, we first use the powerful AVSR system to read the audio and visual signals to get the N-Best hypotheses, and then use the Q-former-based Multimodal Synchronous Encoder to read the audio and visual information again and convert them into an audio and video compression representation respectively that can be understood by LLM. Afterward, the audio-visual compression representation and the N-Best hypothesis together constitute a Cross-modal Prompt to guide the LLM in producing the best transcription. In addition, we also proposed a Multi-Level Consistency Constraint training criterion, including logits-level, utterance-level and representations-level, to improve the correction accuracy while enhancing the interpretability of audio and visual compression representations. The experimental results on the LRS3 dataset show that our method outperforms current mainstream AVSR systems. The proposed AVGER can reduce the Word Error Rate (WER) by 24% compared to them. Code and models can be found at: https://github.com/CircleRedRain/AVGER.
• Abstract（参考訳）: 従来の自動音声認識(ASR)とは異なり、AVSR(Audio-Visual Speech Recognition)は同時に音声信号と視覚信号を受信して文字を推測する。 近年の研究では、大言語モデル(LLM)は、ASR生成N-best仮説からの最良の転写を予測することにより、ASRにおける生成エラー補正(GER)に効果的に利用できることが示されている。 しかし、これらのLLMは音声と視覚を同時に理解する能力に欠けており、GERアプローチをAVSRに適用することは困難である。 本研究では, AVGER と呼ばれる AVSR のための新しい GER パラダイムを提案する。 具体的には、まず強力なAVSRシステムを用いてN-Best仮説の読み出しを行い、次にQ-formerベースのMultimodal Synchronous Encoderを用いて音声と視覚情報を再び読み出し、LLMで理解可能なオーディオとビデオの圧縮表現に変換する。 その後、音声-視覚圧縮表現とN-Best仮説を合わせてクロスモーダル・プロンプトを構成し、最高の転写を生成する。 さらに,ロジットレベル,発話レベル,表現レベルを含むマルチレベル一貫性制約学習基準を提案し,音声および視覚的圧縮表現の解釈可能性を高めながら補正精度を向上させる。 LRS3データセットの実験結果は,本手法が現在の主流AVSRシステムより優れていることを示している。 AVGERはワードエラー率(WER)を24%削減できる。 コードとモデルについては、https://github.com/CircleRedRain/AVGERを参照してください。

関連論文リスト

• Enhancing Audiovisual Speech Recognition through Bifocal Preference Optimization [59.1277150358203]
  実世界のビデオの音声認識精度を向上させるために、選好最適化手法を提案する。 まず、AV-ASRで発生した一般的なエラーを2つの焦点からシミュレーションすることで、嗜好データを生成する。 次に,AV-ASRモデルを改善するために,入力側と出力側の両方を優先してBPO-AVASRを提案する。
  論文  参考訳（メタデータ） (2024-12-26T00:26:45Z)
• Large Language Models Are Strong Audio-Visual Speech Recognition Learners [53.142635674428874]
  マルチモーダル・大規模言語モデル(MLLM)は,近年,多モーダル理解能力の強化により,研究の焦点となっている。 本稿では,Llama-AVSRを提案する。 我々は,最大公的なAVSRベンチマークであるLSS3に対する提案手法の評価を行い,WERが0.81%,0.77%であるASRとAVSRのタスクに対して,新しい最先端の結果を得た。
  論文  参考訳（メタデータ） (2024-09-18T21:17:27Z)
• LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition [46.438575751932866]
  LipGERはノイズロスASRのための視覚的手がかりを利用するためのフレームワークである。 LipGERは単語誤り率を1.1%-49.2%の範囲で改善することを示す。 また、リップモーションキューを備えた仮説転写ペアを備えた大規模データセットであるLipHypをリリースする。
  論文  参考訳（メタデータ） (2024-06-06T18:17:59Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Lip2Vec: Efficient and Robust Visual Speech Recognition via Latent-to-Latent Visual to Audio Representation Mapping [4.271091833712731]
  従来のモデルから学習するシンプルなアプローチであるLip2Vecを提案する。 提案手法は LRS3 データセット上で26 WER を達成する完全教師付き学習法と比較した。 我々は、VSRをASRタスクとして再プログラムすることで、両者のパフォーマンスギャップを狭め、より柔軟な唇読解法を構築することができると考えている。
  論文  参考訳（メタデータ） (2023-08-11T12:59:02Z)
• Explanations for Automatic Speech Recognition [9.810810252231812]
  音声フレームのサブセットとして、ASR転写の説明を提供する。 我々は,画像分類-統計的故障局所化(SFL)とCausalから既存の説明可能なAI技術を適用した。 提案手法は,3種類のASR,Google API,Sphinx,Deepspeechのベースラインモデル,およびCommonvoiceデータセットから得られた100のオーディオサンプルに対して,提案手法による説明の質を評価する。
  論文  参考訳（メタデータ） (2023-02-27T11:09:19Z)
• Prompt Tuning of Deep Neural Networks for Speaker-adaptive Visual Speech Recognition [66.94463981654216]
  話者適応型視覚音声認識(VSR)のためのディープニューラルネットワーク(DNN)の即時チューニング手法を提案する。 我々は、事前訓練されたモデルパラメータを変更する代わりに、ターゲット話者の適応データを微調整する。 提案手法の有効性を単語レベルのVSRデータベースと文レベルのVSRデータベースで評価した。
  論文  参考訳（メタデータ） (2023-02-16T06:01:31Z)
• Adapting End-to-End Speech Recognition for Readable Subtitles [15.525314212209562]
  サブタイリングのようないくつかのユースケースでは、画面サイズや読み込み時間に制限があるため、動詞の文字起こしは出力の可読性を低下させる。 まず,教師なし圧縮モデルを用いて書き起こされた音声を後編集するカスケードシステムについて検討する。 実験により、モデルをスクラッチからトレーニングするために必要なデータよりもはるかに少ないデータで、TransformerベースのASRモデルを適用して、書き起こし機能と圧縮機能の両方を組み込むことが可能であることが示されている。
  論文  参考訳（メタデータ） (2020-05-25T14:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。