論文の概要: AD-AVSR: Asymmetric Dual-stream Enhancement for Robust Audio-Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2508.07608v1
• Date: Mon, 11 Aug 2025 04:23:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-12 21:23:28.941484
• Title: AD-AVSR: Asymmetric Dual-stream Enhancement for Robust Audio-Visual Speech Recognition
• Title（参考訳）: AD-AVSR:ロバスト音声認識のための非対称デュアルストリーム強調
• Authors: Junxiao Xue, Xiaozhen Liu, Xuecheng Wu, Xinyi Yin, Danlei Huang, Fei Yu,
• Abstract要約: 双方向モダリティ向上に基づく新しいAVSRフレームワークAD-AVSRを提案する。 具体的には、まず、複数の視点から音声表現を豊かにするための音声二重ストリーム符号化方式を導入する。 我々は、無関係または弱相関のオーディオ視覚対をフィルタリングするために閾値に基づく選択機構を採用する。
• 参考スコア（独自算出の注目度）: 2.4842074869626396
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual speech recognition (AVSR) combines audio-visual modalities to improve speech recognition, especially in noisy environments. However, most existing methods deploy the unidirectional enhancement or symmetric fusion manner, which limits their capability to capture heterogeneous and complementary correlations of audio-visual data-especially under asymmetric information conditions. To tackle these gaps, we introduce a new AVSR framework termed AD-AVSR based on bidirectional modality enhancement. Specifically, we first introduce the audio dual-stream encoding strategy to enrich audio representations from multiple perspectives and intentionally establish asymmetry to support subsequent cross-modal interactions. The enhancement process involves two key components, Audio-aware Visual Refinement Module for enhanced visual representations under audio guidance, and Cross-modal Noise Suppression Masking Module which refines audio representations using visual cues, collaboratively leading to the closed-loop and bidirectional information flow. To further enhance correlation robustness, we adopt a threshold-based selection mechanism to filter out irrelevant or weakly correlated audio-visual pairs. Extensive experimental results on the LRS2 and LRS3 datasets indicate that our AD-AVSR consistently surpasses SOTA methods in both performance and noise robustness, highlighting the effectiveness of our model design.
• Abstract（参考訳）: 音声視覚音声認識(AVSR)は、特に雑音の多い環境での音声認識を改善するために、音声視覚のモダリティを組み合わせる。 しかし、既存のほとんどの手法では、一方向のエンハンスメントや対称融合方式を採用しており、特に非対称情報条件下では、音声・視覚データの異種・相補的相関を捉える能力に制限がある。 これらのギャップに対処するために、双方向のモダリティ向上に基づくAD-AVSRと呼ばれる新しいAVSRフレームワークを導入する。 具体的には、まず、複数の視点から音声表現を豊かにするための音声二重ストリーム符号化戦略を導入し、その後のモーダル間相互作用をサポートするための非対称性を意図的に確立する。 拡張プロセスには、2つの重要なコンポーネントが含まれる。オーディオ誘導下で視覚的表現を拡張できるオーディオ対応ビジュアルリファインメントモジュールと、視覚的手がかりを用いて音声表現を洗練し、クローズドループと双方向情報フローを協調的に導くクロスモーダルノイズ抑圧マスクモジュールである。 相関ロバスト性をさらに高めるために、無関係または弱相関のオーディオ視覚対をフィルタリングするしきい値に基づく選択機構を採用する。 LRS2 と LRS3 データセットの大規模な実験結果から,AD-AVSR はSOTA 手法を性能と雑音の堅牢性の両方で一貫して上回り,モデル設計の有効性を強調した。

関連論文リスト

• Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
  双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。 この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。 また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-04T03:02:35Z)
• Improving Audio-Visual Segmentation with Bidirectional Generation [40.78395709407226]
  音声・視覚的セグメンテーションのための双方向生成フレームワークを提案する。 この枠組みは、物体の視覚的特徴と関連する音との堅牢な相関関係を確立する。 また、時間力学を扱う暗黙の体積運動推定モジュールも導入する。
  論文  参考訳（メタデータ） (2023-08-16T11:20:23Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Cross-Modal Global Interaction and Local Alignment for Audio-Visual Speech Recognition [21.477900473255264]
  音声・視覚音声認識(AVSR)のための多言語間相互作用と局所アライメント(GILA)アプローチを提案する。 具体的には、A-Vの相補関係をモダリティレベルで捉えるためのグローバル相互作用モデルと、フレームレベルでのA-Vの時間的一貫性をモデル化するための局所アライメントアプローチを設計する。 我々のGILAは、公開ベンチマークのLSS3とLSS2で教師付き学習状況よりも優れています。
  論文  参考訳（メタデータ） (2023-05-16T06:41:25Z)
• AV-data2vec: Self-supervised Learning of Audio-Visual Speech Representations with Contextualized Target Representations [88.30635799280923]
  AV-data2vecを導入し、文脈化表現の予測に基づいて音声・視覚表現を構築する。 LRS3の結果は、AV-data2vecが、同じ量のデータとモデルサイズで既存のメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2023-02-10T02:55:52Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)
• Visual Context-driven Audio Feature Enhancement for Robust End-to-End Audio-Visual Speech Recognition [29.05833230733178]
  音声・視覚対応の助けを借りて、入力ノイズの多い音声音声を強化するために、視覚コンテキスト駆動型音声特徴強調モジュール(V-CAFE)を提案する。 The proposed V-CAFE is designed to capture the transition of lip movement、すなわち visual context, and to generate a noise reduction mask by consider the obtained visual context。 提案手法の有効性は,2大音声視覚データセットであるLSS2とLSS3を用いて,雑音の多い音声認識および重複音声認識実験において評価される。
  論文  参考訳（メタデータ） (2022-07-13T08:07:19Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• Discriminative Multi-modality Speech Recognition [17.296404414250553]
  視覚は、しばしば音声音声認識(ASR)の相補的モダリティとして使用される。 本稿では,2段階音声認識モデルを提案する。 第1段階では、対象の音声を、対応する唇の動きの視覚情報から助けを借りて背景雑音から分離し、モデル「リスト」を明確にする。 第2段階では、音声モダリティは視覚的モダリティを再び組み合わせて、MSRサブネットワークによる音声の理解を深め、認識率をさらに向上させる。
  論文  参考訳（メタデータ） (2020-05-12T07:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。