論文の概要: CF-AVSS: A Coarse-to-Fine Audio-Visual Speech Separation Framework with Target-Speaker Refinement and Post-Fusion for Real-World AVSE Challenge

• arxiv url: http://arxiv.org/abs/2610.21773v1
• Date: Thu, 15 Oct 2026 12:30:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.065071
• Title: CF-AVSS: A Coarse-to-Fine Audio-Visual Speech Separation Framework with Target-Speaker Refinement and Post-Fusion for Real-World AVSE Challenge
• Title（参考訳）: CF-AVSS: 実世界AVSEチャレンジのためのターゲット・スピーカーリファインメントとポストフュージョンを用いた粗大な音声-映像分離フレームワーク
• Abstract要約: 粗大な2段階のAVSEフレームワークを提案する。 最初の段階では、プログレッシブSPAV-TFGridNetを2つの同期されたビジュアルストリームに拡張し、視覚的に順序付けられた粗い推定値を生成する。 第2段階では、TFGridNetをベースとしたターゲット話者改善ネットワークは、元の混合と、両方の粗い推定を入力として、さらにターゲット音声を復元する。
• 参考スコア（独自算出の注目度）: 15.04281583585434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual speech enhancement (AVSE) leverages visual cues to recover target speech from mixtures corrupted by reverberation, noise, and overlapping speakers. We propose a coarse-to-fine two-stage AVSE framework. In the first stage, a progressive SPAV-TFGridNet is extended to two synchronized visual streams to produce visually ordered coarse estimates by progressively suppressing interfering speech while preserving target reverberation and shared background noise. In the second stage, a TFGridNet-based target speaker refinement network takes the original mixture and both coarse estimates as input to further recover target speech and improve signal quality. The coarse and refined estimates are finally combined using development-set-calibrated fusion. On the ISCSLP 2026 Real-World AVSE Challenge, our system tied for first place on Track 1 and ranked second on Track 2 in OVRL, while achieving the lowest CER on both tracks at 12.31% and 14.79%, respectively.
• Abstract（参考訳）: 音声視覚音声強調(AVSE)は、視覚的手がかりを利用して、残響、雑音、重なり合う話者によって破損した混合音からターゲット音声を復元する。 粗大な2段階のAVSEフレームワークを提案する。 第1段階では、プログレッシブSPAV-TFGridNetを2つの同期視覚ストリームに拡張し、ターゲット残響と共有背景雑音を保ちながら、干渉音声を段階的に抑制し、視覚的に順序付けられた粗い推定値を生成する。 第2段階では、TFGridNetをベースとしたターゲット話者改善ネットワークは、元の混合と、両方の粗い推定を入力として、ターゲット音声をさらに回復し、信号品質を向上させる。 粗い推定と洗練された推定は、最終的に開発段階の校正核融合を用いて組み合わせられる。 ISCSLP 2026 Real-World AVSE Challengeではトラック1で1位、OVRLで2位、両トラックとも12.31%、14.79%で最低のCERを達成した。

関連論文リスト

• EgoVIS@CVPR: PAIR-Net: Enhancing Egocentric Speaker Detection via Pretrained Audio-Visual Fusion and Alignment Loss [8.320201598083022]
  エゴセントリックビデオにおけるアクティブな話者検出(ASD)は、不安定な視点、動きのぼやけ、オフスクリーン音声源などによる固有の課題を提示する。 本稿では,部分的に凍結したWhisperオーディオエンコーダと,微調整されたAV-HuBERTビジュアルバックボーンを統合する効果的なモデルであるPAIR-Netを紹介する。 実世界の自我中心の条件下では,事前学習音声の付加価値とアライメントに基づくアライメント・ベース・フュージョンが重要である。
  論文  参考訳（メタデータ） (2025-06-02T20:49:52Z)
• MLCA-AVSR: Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition [62.89464258519723]
  異なるレベルのオーディオ/視覚エンコーダに融合することで、各モードの表現を促進する多層クロスアテンション融合に基づくAVSR手法を提案する。 提案手法は第1位システムを超え,新たなSOTA cpCERの29.13%をこのデータセット上に構築する。
  論文  参考訳（メタデータ） (2024-01-07T08:59:32Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。