論文の概要: Visual-Informed Speech Enhancement Using Attention-Based Beamforming
- arxiv url: http://arxiv.org/abs/2603.05270v1
- Date: Thu, 05 Mar 2026 15:19:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-06 22:06:11.290997
- Title: Visual-Informed Speech Enhancement Using Attention-Based Beamforming
- Title（参考訳）: 注意に基づくビームフォーミングを用いた視覚インフォームド音声強調
- Authors: Chihyun Liu, Jiaxuan Fan, Mingtung Sun, Michael Anthony, Mingsian R. Bai, Yu Tsao,
- Abstract要約: 視覚インフォームドニューラルビームフォーミングネットワーク(VI-NBFNet)を提案する。
提案するネットワークは、マイクロホンアレイ信号処理と、マルチモーダル入力機能を用いたディープニューラルネットワーク(DNN)を統合している。
注目機構を備えた教師付きエンドツーエンドビームフォーミングフレームワークを導入することで、静的および移動型スピーカの両方を扱うことを意図している。
- 参考スコア（独自算出の注目度）: 13.084978776817222
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent studies have demonstrated that incorporating auxiliary information, such as speaker voiceprint or visual cues, can substantially improve Speech Enhancement (SE) performance. However, single-channel methods often yield suboptimal results in low signal-to-noise ratio (SNR) conditions, when there is high reverberation, or in complex scenarios involving dynamic speakers, overlapping speech, or non-stationary noise. To address these issues, we propose a novel Visual-Informed Neural Beamforming Network (VI-NBFNet), which integrates microphone array signal processing and deep neural networks (DNNs) using multimodal input features. The proposed network leverages a pretrained visual speech recognition model to extract lip movements as input features, which serve for voice activity detection (VAD) and target speaker identification. The system is intended to handle both static and moving speakers by introducing a supervised end-to-end beamforming framework equipped with an attention mechanism. The experimental results demonstrated that the proposed audiovisual system has achieved better SE performance and robustness for both stationary and dynamic speaker scenarios, compared to several baseline methods.
- Abstract（参考訳）: 近年の研究では、音声入力や視覚的手がかりなどの補助情報を組み込むことで、音声強調(SE)性能が大幅に向上することが示されている。
しかし、シングルチャネル法は、低信号対雑音比(SNR)条件、残響が高い場合、あるいは動的話者、重複音声、非定常雑音を含む複雑なシナリオにおいて、最適な結果をもたらすことが多い。
これらの問題に対処するために,マイクロホンアレイ信号処理とディープニューラルネットワーク(DNN)をマルチモーダル入力機能を用いて統合した新しいビジュアルインフォームドニューラルビームフォーミングネットワーク(VI-NBFNet)を提案する。
提案ネットワークは、事前学習された視覚音声認識モデルを用いて、音声活動検出(VAD)とターゲット話者識別に役立ち、唇の動きを入力特徴として抽出する。
このシステムは、アテンション機構を備えた教師付きエンドツーエンドビームフォーミングフレームワークを導入することで、静的スピーカーと移動スピーカーの両方を扱うことを意図している。
実験の結果,提案手法は,複数のベースライン手法と比較して,定常話者シナリオと動的話者シナリオの両方において,より優れたSE性能とロバスト性を実現していることがわかった。
関連論文リスト
- Towards Robust Overlapping Speech Detection: A Speaker-Aware Progressive Approach Using WavLM [53.17360668423001]
重なり合う音声検出(OSD)は、会話中に複数の話者が重複する領域を特定することを目的としている。
本研究では,サブタスク間の相関性を高めるために,プログレッシブトレーニング戦略を活用する話者対応プログレッシブOSDモデルを提案する。
実験の結果,提案手法は,AMIテストセット上でF1スコアが82.76%の最先端性能を実現することがわかった。
論文 参考訳（メタデータ） (2025-05-29T07:47:48Z) - AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。
本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
論文 参考訳（メタデータ） (2025-04-06T13:59:16Z) - A unified multichannel far-field speech recognition system: combining
neural beamforming with attention based end-to-end model [14.795953417531907]
本稿では,ニューラルビームフォーミングとトランスフォーマーをベースとしたリステン,スペル,アトンド(LAS)音声認識システムを組み合わせた多チャンネル遠距離音声認識システムを提案する。
提案手法は, 強いベースラインに比べて19.26%向上した。
論文 参考訳（メタデータ） (2024-01-05T07:11:13Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - Audio-visual multi-channel speech separation, dereverberation and
recognition [70.34433820322323]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。
LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-04-05T04:16:03Z) - A Study of Designing Compact Audio-Visual Wake Word Spotting System
Based on Iterative Fine-Tuning in Neural Network Pruning [57.28467469709369]
視覚情報を利用した小型音声覚醒単語スポッティング(WWS)システムの設計について検討する。
繰り返し微調整方式(LTH-IF)で抽選券仮説を通したニューラルネットワークプルーニング戦略を導入する。
提案システムでは,ノイズ条件の異なる単一モード(オーディオのみ,ビデオのみ)システムに対して,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-17T08:26:25Z) - Data Fusion for Audiovisual Speaker Localization: Extending Dynamic
Stream Weights to the Spatial Domain [103.3388198420822]
複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。
本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。
オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
論文 参考訳（メタデータ） (2021-02-23T09:59:31Z) - Robust Speaker Recognition Using Speech Enhancement And Attention Model [37.33388614967888]
音声強調と話者認識を個別に処理する代わりに、ディープニューラルネットワークを用いた共同最適化により、2つのモジュールを1つのフレームワークに統合する。
雑音に対するロバスト性を高めるため、時間と周波数領域のコンテキスト情報から得られた話者関連特徴を強調するために、多段階アテンション機構を用いる。
その結果,音声強調モデルと多段階アテンションモデルを用いた提案手法は,実験のほとんどの音響条件下では使用しない2つの強いベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2020-01-14T20:03:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。