論文の概要: Plug-and-Play Co-Occurring Face Attention for Robust Audio-Visual Speaker Extraction

• arxiv url: http://arxiv.org/abs/2505.20635v1
• Date: Tue, 27 May 2025 02:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.352054
• Title: Plug-and-Play Co-Occurring Face Attention for Robust Audio-Visual Speaker Extraction
• Title（参考訳）: ロバスト・オーディオ・ビジュアル・スピーカ抽出のためのプラグアンドプレイ共同顔注意
• Authors: Zexu Pan, Shengkui Zhao, Tingting Wang, Kun Zhou, Yukun Ma, Chong Zhang, Bin Ma,
• Abstract要約: 我々は,複数の共起顔のフレキシブルな処理を行うための,プラグアンドプレイ型話者間アテンションモジュールを提案する。 我々のアプローチは、多様なデータセットの実験において、一貫してベースラインを上回ります。
• 参考スコア（独自算出の注目度）: 37.680463374382235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual speaker extraction isolates a target speaker's speech from a mixture speech signal conditioned on a visual cue, typically using the target speaker's face recording. However, in real-world scenarios, other co-occurring faces are often present on-screen, providing valuable speaker activity cues in the scene. In this work, we introduce a plug-and-play inter-speaker attention module to process these flexible numbers of co-occurring faces, allowing for more accurate speaker extraction in complex multi-person environments. We integrate our module into two prominent models: the AV-DPRNN and the state-of-the-art AV-TFGridNet. Extensive experiments on diverse datasets, including the highly overlapped VoxCeleb2 and sparsely overlapped MISP, demonstrate that our approach consistently outperforms baselines. Furthermore, cross-dataset evaluations on LRS2 and LRS3 confirm the robustness and generalizability of our method.
• Abstract（参考訳）: 音声-視覚的話者抽出は、通常、ターゲット話者の顔記録を用いて、視覚的キューに条件付けられた混合音声信号からターゲット話者の音声を分離する。 しかし、現実のシナリオでは、他の共起顔はしばしばスクリーン上に表示され、シーンで貴重な話者活動の手がかりを提供する。 本研究では,複雑なマルチパーソン環境下でのより正確な話者抽出を実現するために,これらのフレキシブルな顔の処理を行うためのプラグアンドプレイ型話者間アテンションモジュールを提案する。 AV-DPRNNと最先端のAV-TFGridNetの2つの著名なモデルに統合します。 非常に重複したVoxCeleb2と疎重複なMISPを含む多様なデータセットに関する大規模な実験は、我々のアプローチがベースラインを一貫して上回ることを示した。 さらに, LRS2 と LRS3 のクロスデータセット評価により, 本手法の堅牢性と一般化性が確認された。

関連論文リスト

• DTFSal: Audio-Visual Dynamic Token Fusion for Video Saliency Prediction [5.13730975608994]
  映像中の有声領域を識別することで人間の視覚的注意を模倣することを目的としている。 本稿では,精度と計算効率の両立を図った新しいオーディオ・ビジュアル・サリエンシ予測フレームワークであるDFTSalを提案する。
  論文  参考訳（メタデータ） (2025-04-14T10:17:25Z)
• RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues [45.095482324156606]
  本稿では,複数話者の同時分離を容易にするマルチ話者分離フレームワークを提案する。 VoxCeleb2 と LRS3 のデータセットによる実験結果から,2, 3, 4, 5 話者を分離した場合に,本手法が最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-27T09:56:23Z)
• Cooperative Dual Attention for Audio-Visual Speech Enhancement with Facial Cues [80.53407593586411]
  頑健な音声音声強調(AVSE)のための唇領域を超えて顔の手がかりを活用することに注力する。 本稿では,音声関連情報を無視し,音声関連情報を顔の手がかりで捉え,AVSEの音声信号と動的に統合するDual Attention Cooperative Framework(DualAVSE)を提案する。
  論文  参考訳（メタデータ） (2023-11-24T04:30:31Z)
• Leveraging Foundation models for Unsupervised Audio-Visual Segmentation [49.94366155560371]
  AVS (Audio-Visual) は、可聴物体をピクセルレベルの視覚シーンで正確に概説することを目的としている。 既存のAVS手法では、教師付き学習方式でオーディオマスク対の細かいアノテーションを必要とする。 タスク固有のデータアノテーションやモデルトレーニングを必要とせず、教師なしの音声-視覚的セグメンテーションを導入する。
  論文  参考訳（メタデータ） (2023-09-13T05:05:47Z)
• End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
  ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。 特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。 提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
  論文  参考訳（メタデータ） (2021-02-12T18:00:08Z)
• Multimodal Attention Fusion for Target Speaker Extraction [108.73502348754842]
  マルチモーダル核融合のための新しい注意機構とその訓練方法を提案する。 シミュレーションデータに対する従来の核融合機構よりも,信号対歪み比(SDR)を1.0dB向上させる。
  論文  参考訳（メタデータ） (2021-02-02T05:59:35Z)
• Audio-visual Speech Separation with Adversarially Disentangled Visual Representation [23.38624506211003]
  音声分離は、複数の同時話者による音声の混合から個々の音声を分離することを目的としている。 本モデルでは,顔検出器を用いて現場の話者数を検出し,視覚情報を用いて順列化問題を回避する。 提案モデルは,最先端のオーディオのみのモデルと3つのオーディオ視覚モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-29T10:48:42Z)
• Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario [51.50631198081903]
  本稿では,TS-VAD(Target-Speaker Voice Activity Detection)手法を提案する。 TS-VADは各時間フレーム上の各話者の活動を直接予測する。 CHiME-6での実験では、TS-VADが最先端の結果を得ることが示された。
  論文  参考訳（メタデータ） (2020-05-14T21:24:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。