論文の概要: VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition

• arxiv url: http://arxiv.org/abs/2606.29632v1
• Date: Sun, 28 Jun 2026 22:31:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.993027
• Title: VIB-AVSR: Variational Information Bottleneck for Noise-Robust LLM-Based Audio-Visual Speech Recognition
• Title（参考訳）: VIB-AVSR:ノイズローバストLLMに基づく音声認識のための変分情報基盤
• Authors: Piyush Arora, Navlika Singh, Umberto Cappellazzo, Stavros Petridis, Maja Pantic,
• Abstract要約: 提案するVIB-AVSRは,LLMバックボーン内のターゲット位置の変動情報ボトルネック層を統合し,表現の正規化を行う。 また,VIB-AVSRは,複数のSNRレベルやノイズタイプにまたがるノイズ条件下での劣化を,アーキテクチャの変更や追加のトレーニングデータを必要とすることなく低減することを示した。
• 参考スコア（独自算出の注目度）: 27.084908063014083
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-Visual Speech Recognition takes two input modalities, acoustic and visual streams, where visual information from lip movements aids recognition when audio is noisy. Recently, LLM-based AVSR models have emerged as a promising paradigm by connecting pre-trained audio-visual encoders to an LLM, achieving strong results in clean conditions. However, these models are predominantly optimized for clean acoustic conditions, with limited attention to making the LLM backbone robust to noise. No explicit mechanism is employed to produce stable representations under corrupted audio, leading to performance degradation in noisy environments. To address this, we propose VIB-AVSR, which integrates Variational Information Bottleneck layers at targeted positions within the LLM backbone to regularize representations. VIB-AVSR reduces degradation under noisy conditions across multiple SNR levels and noise types, without requiring architectural modifications or additional training data.
• Abstract（参考訳）: オーディオ・ビジュアル・音声認識は2つの入力モード、すなわち音響と視覚のストリームを取り、唇の動きから得られる視覚情報は、音声がうるさいときに認識を助ける。 近年,LLMをベースとしたAVSRモデルは,学習済みオーディオ-視覚エンコーダをLCMに接続し,クリーンな環境下で強力な結果を得るという,有望なパラダイムとして出現している。 しかし、これらのモデルは主にクリーンな音響条件に最適化されており、LLMのバックボーンをノイズに対して頑丈にすることへの注意は限られている。 劣化した音声の下で安定した表現を生成するための明示的なメカニズムは使用されず、ノイズの多い環境での性能劣化につながる。 そこで本研究では,LLMバックボーン内のターゲット位置に可変情報ボトルネック層を統合し,表現の正規化を行うVIB-AVSRを提案する。 VIB-AVSRは、アーキテクチャの変更や追加のトレーニングデータを必要とすることなく、複数のSNRレベルとノイズタイプにわたるノイズ条件下での劣化を低減する。

関連論文リスト

• Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition [13.50064027453736]
  高雑音の音声入力は、特徴融合プロセスに有害な干渉をもたらす傾向がある。 本稿では、音声強調と組み合わさった、エンドツーエンドノイズローバストAVSRフレームワークを提案する。 本手法は,頑健な音声認識性能を実現するために,音声の意味的整合性を保っている。
  論文  参考訳（メタデータ） (2026-01-18T14:46:08Z)
• SEE: Signal Embedding Energy for Quantifying Noise Interference in Large Audio Language Models [49.313324100819955]
  信号埋め込みエネルギー (Signal Embedding Energy, SEE) は、LALM入力に対する雑音強度の影響を定量化する手法である。 SEEはLALM性能と強い相関を示し,0.98。 本稿では,LALMにおけるノイズ定量化のための新しい指標を提案し,実環境におけるロバスト性向上のためのガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-01-12T08:57:55Z)
• Real-Time Speech Enhancement via a Hybrid ViT: A Dual-Input Acoustic-Image Feature Fusion [1.376408511310322]
  音声品質と知性はノイズの多い環境で著しく劣化する。 本稿では,単一チャネル雑音抑圧問題に対処するトランスフォーマーに基づく新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-14T19:27:42Z)
• Fun-ASR Technical Report [89.84148151617022]
  本稿では,大規模データ,大規模モデル容量,LLM統合,強化学習を組み合わせた大規模ALSシステムFun-ASRを提案する。 Fun-ASRは特に実用的なデプロイメントに最適化されており、ストリーミング機能、ノイズの堅牢性、コードスイッチング、ホットワードのカスタマイズ、その他の現実世界のアプリケーション要件を満たすことができる。 運用指向の最適化により、Fun-ASRは実際のアプリケーションデータセット上での最先端のパフォーマンスを実現し、実用的設定におけるその有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2025-09-15T23:19:36Z)
• Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs [33.12165044958361]
  大規模言語モデル(LLM)の最近の進歩は、音声認識において、AVSR(Audio-Visual Speech Recognition)を含む強力な性能を示している。 そこで我々は,AVSRのための最初のMateryoshkaベースのマルチモーダルLLMであるLlama-MTSKを提案する。 Matryoshka Representation Learningにインスパイアされた私たちのモデルは、単一のアーキテクチャで複数の粒度の表現をエンコードします。 効率的な微調整を行うため,グローバルおよびスケール固有のモジュールを用いたLoRAベースの戦略を3つ導入する。
  論文  参考訳（メタデータ） (2025-03-09T00:02:10Z)
• Large Language Models are Efficient Learners of Noise-Robust Speech Recognition [65.95847272465124]
  大規模言語モデル(LLM)の最近の進歩は、自動音声認識(ASR)のための生成誤り訂正(GER)を促進している。 本研究では,このベンチマークをノイズの多い条件に拡張し,GERのデノナイジングをLLMに教えることができるかを検討する。 最新のLLM実験では,単語誤り率を最大53.9%改善し,新たなブレークスルーを実現している。
  論文  参考訳（メタデータ） (2024-01-19T01:29:27Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)
• Learning Task-Oriented Flows to Mutually Guide Feature Alignment in Synthesized and Real Video Denoising [137.5080784570804]
  Video Denoisingは、クリーンなノイズを回復するためにビデオからノイズを取り除くことを目的としている。 既存の研究によっては、近辺のフレームから追加の空間的時間的手がかりを利用することで、光学的流れがノイズ発生の助けとなることが示されている。 本稿では,様々なノイズレベルに対してより堅牢なマルチスケール光フロー誘導型ビデオデノイング法を提案する。
  論文  参考訳（メタデータ） (2022-08-25T00:09:18Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。