論文の概要: Two Heads Are Better Than One: Audio-Visual Speech Error Correction with Dual Hypotheses

• arxiv url: http://arxiv.org/abs/2510.13281v1
• Date: Wed, 15 Oct 2025 08:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.569398
• Title: Two Heads Are Better Than One: Audio-Visual Speech Error Correction with Dual Hypotheses
• Title（参考訳）: 2つの頭が1つより優れている:2つの仮説によるオーディオ・ビジュアル音声誤り訂正
• Authors: Sungnyun Kim, Kangwook Jang, Sungwoo Cho, Joon Son Chung, Hoirin Kim, Se-Young Yun,
• Abstract要約: 本稿では,音声視覚音声認識(AVSR)における生成誤り訂正(GER)フレームワークの新たなパラダイムを提案する。 我々のフレームワークであるDualHypは、独立した自動音声認識(ASR)モデルと視覚音声認識(VSR)モデルから独立したN-best仮説を構成するために、大規模言語モデル(LLM)を強制する。 我々のフレームワークは、標準のASRベースラインよりもLRS2ベンチマークで57.7%のエラー率を獲得していますが、シングルストリームのGERアプローチでは10%のゲインしか達成できません。
• 参考スコア（独自算出の注目度）: 71.34350093068473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a new paradigm for generative error correction (GER) framework in audio-visual speech recognition (AVSR) that reasons over modality-specific evidences directly in the language space. Our framework, DualHyp, empowers a large language model (LLM) to compose independent N-best hypotheses from separate automatic speech recognition (ASR) and visual speech recognition (VSR) models. To maximize the effectiveness of DualHyp, we further introduce RelPrompt, a noise-aware guidance mechanism that provides modality-grounded prompts to the LLM. RelPrompt offers the temporal reliability of each modality stream, guiding the model to dynamically switch its focus between ASR and VSR hypotheses for an accurate correction. Under various corruption scenarios, our framework attains up to 57.7% error rate gain on the LRS2 benchmark over standard ASR baseline, contrary to single-stream GER approaches that achieve only 10% gain. To facilitate research within our DualHyp framework, we release the code and the dataset comprising ASR and VSR hypotheses at https://github.com/sungnyun/dualhyp.
• Abstract（参考訳）: 本稿では,音声視覚音声認識(AVSR)における生成誤り訂正(GER)フレームワークの新たなパラダイムを提案する。 我々のフレームワークであるDualHypは、独立した自動音声認識(ASR)モデルと視覚音声認識(VSR)モデルから独立したN-best仮説を構成するために、大規模言語モデル(LLM)を強制する。 DualHypの有効性を最大化するために、LLMにモーダルグラウンドのプロンプトを提供するノイズ対応誘導機構であるRelPromptを導入する。 RelPromptは各モードストリームの時間的信頼性を提供し、モデルの焦点をASRとVSRの仮説に動的に切り替えて正確な補正を行う。 様々な汚職のシナリオにおいて、我々のフレームワークは標準のASRベースラインよりも最大57.7%のエラー率を得ることができ、シングルストリームのGERアプローチでは10%のゲインしか得られない。 DualHypフレームワーク内での研究を容易にするため、コードとデータセットをhttps://github.com/sungnyun/dualhyp.comで公開しています。

関連論文リスト

• Listening and Seeing Again: Generative Error Correction for Audio-Visual Speech Recognition [39.206005299985605]
  「我々はAVSRのための新しいGERパラダイム、AVGERを提案し、それを聴いて再び見るという概念に従っている。」 AVGERは、現在の主流のAVSRシステムと比較して、ワードエラー率(WER)を24%削減できる。
  論文  参考訳（メタデータ） (2025-01-03T10:51:14Z)
• Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition [52.624909026294105]
  本稿では,非自己回帰型音声誤り訂正法を提案する。 信頼モジュールは、N-best ASR仮説の各単語の不確実性を測定する。 提案方式は,ASRモデルと比較して誤差率を21%削減する。
  論文  参考訳（メタデータ） (2024-06-29T17:56:28Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
  我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。 提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T23:48:01Z)
• Cross-Modal ASR Post-Processing System for Error Correction and Utterance Rejection [25.940199825317073]
  音声認識のためのクロスモーダル後処理システムを提案する。 音響的特徴とテキスト的特徴を異なるモダリティから融合させる。 マルチタスク学習方式で信頼度推定器と誤り訂正器を結合する。
  論文  参考訳（メタデータ） (2022-01-10T12:29:55Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。