論文の概要: $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction

• arxiv url: http://arxiv.org/abs/2504.00750v1
• Date: Tue, 01 Apr 2025 13:01:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:18:01.321366
• Title: $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction
• Title（参考訳）: C^2$AV-TSE:コンテキストと信頼度を考慮した視覚的ターゲット話者抽出
• Authors: Wenxuan Wu, Xueyuan Chen, Shuai Wang, Jiadong Wang, Lingwei Meng, Xixin Wu, Helen Meng, Haizhou Li,
• Abstract要約: 我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。 MARは、モダリティ間およびモダリティ間コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。 各サンプルの難易度を向上するために, 精細信頼スコア(FCS)モデルを導入する。
• 参考スコア（独自算出の注目度）: 80.57232374640911
• License:
• Abstract: Audio-Visual Target Speaker Extraction (AV-TSE) aims to mimic the human ability to enhance auditory perception using visual cues. Although numerous models have been proposed recently, most of them estimate target signals by primarily relying on local dependencies within acoustic features, underutilizing the human-like capacity to infer unclear parts of speech through contextual information. This limitation results in not only suboptimal performance but also inconsistent extraction quality across the utterance, with some segments exhibiting poor quality or inadequate suppression of interfering speakers. To close this gap, we propose a model-agnostic strategy called the Mask-And-Recover (MAR). It integrates both inter- and intra-modality contextual correlations to enable global inference within extraction modules. Additionally, to better target challenging parts within each sample, we introduce a Fine-grained Confidence Score (FCS) model to assess extraction quality and guide extraction modules to emphasize improvement on low-quality segments. To validate the effectiveness of our proposed model-agnostic training paradigm, six popular AV-TSE backbones were adopted for evaluation on the VoxCeleb2 dataset, demonstrating consistent performance improvements across various metrics.
• Abstract（参考訳）: 視覚的目標話者抽出(AV-TSE)は、視覚的手がかりを用いて聴覚知覚を高める人間の能力を模倣することを目的としている。 近年、多くのモデルが提案されているが、そのほとんどは、主に音響的特徴の局所的依存に頼ってターゲット信号を推定し、文脈情報を通じて不明瞭な音声を推測するために、人間のような能力を弱めている。 この制限により、話者間における最適性能だけでなく、発話間の不整合抽出品質も向上し、一部のセグメントは、干渉話者の質の低下や不適切な抑制を示す。 このギャップを埋めるため、我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。 モダリティ間およびモダリティ内コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。 さらに,各試料の難易度を向上するために,低品質セグメントの改善を強調するために,抽出品質の評価と抽出モジュールのガイドを行うための細粒度信頼スコア(FCS)モデルを導入する。 提案したモデルに依存しないトレーニングパラダイムの有効性を検証するため,VoxCeleb2データセットの評価に6つの一般的なAV-TSEバックボーンを採用した。

関連論文リスト

• Enhance Vision-Language Alignment with Noise [59.2608298578913]
  本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。 ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
  論文  参考訳（メタデータ） (2024-12-14T12:58:15Z)
• Acoustic Model Optimization over Multiple Data Sources: Merging and Valuation [13.009945735929445]
  本稿では,音声認識分野の課題を解くための新しいパラダイムを提案する。 最初の段階では、完全な音声データの異なるサブセットに基づいて複数の音響モデルを訓練する。 第2段階では、2つの新しいアルゴリズムを用いて高品質な音響モデルを生成する。
  論文  参考訳（メタデータ） (2024-10-21T03:48:23Z)
• DASA: Difficulty-Aware Semantic Augmentation for Speaker Verification [55.306583814017046]
  本稿では,話者認証のための難易度認識型セマンティック拡張(DASA)手法を提案する。 DASAは、話者埋め込み空間における多様なトレーニングサンプルを、無視できる余分な計算コストで生成する。 最も良い結果は、CN-Celeb評価セット上でのEER測定値の14.6%の相対的な減少を達成する。
  論文  参考訳（メタデータ） (2023-10-18T17:07:05Z)
• Multimodal Variational Auto-encoder based Audio-Visual Segmentation [46.67599800471001]
  ECMVAEは、各モダリティの表現をモダリティ共有表現とモダリティ固有表現で分解する。 当社のアプローチでは,3.84mIOUの性能向上を図りながら,音声・視覚的セグメンテーションのための新たな最先端技術が実現されている。
  論文  参考訳（メタデータ） (2023-10-12T13:09:40Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)
• Towards Intelligibility-Oriented Audio-Visual Speech Enhancement [8.19144665585397]
  本稿では,STOI(Modified short-time objective intelligibility)メトリックをトレーニングコスト関数として用いた完全畳み込み型AVSEモデルを提案する。 提案するI-O AV SEフレームワークは,従来の距離に基づく損失関数を訓練したオーディオ専用(AO)およびAVモデルより優れている。
  論文  参考訳（メタデータ） (2021-11-18T11:47:37Z)
• LDNet: Unified Listener Dependent Modeling in MOS Prediction for Synthetic Speech [67.88748572167309]
  本稿では,平均世論スコア(MOS)予測のための統合フレームワークLDNetを提案する。 より安定した結果と効率的な計算を提供する2つの推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-18T08:52:31Z)
• Audio-Visual Transformer Based Crowd Counting [27.464399610071418]
  本稿では,クラウドカウントにおける重要な課題に対処する,新しいマルチタスクネットワークを提案する。 提案するネットワークは,PIRとPCE情報を補助的かつ明示的な画像パッチ重要度ランキング(英語版)(英語版)(英語版)(英語版) (PIR) の概念を導入している。 リッチな視覚的特徴を得るために,トランスフォーマー方式の融合を両立させたマルチブランチ構造を提案する。
  論文  参考訳（メタデータ） (2021-09-04T20:25:35Z)
• Adversarial Feature Augmentation and Normalization for Visual Recognition [109.6834687220478]
  最近のコンピュータビジョンの進歩は、分類モデルの一般化能力を改善するために、逆データ拡張を利用する。 本稿では,中間的特徴埋め込みにおける敵対的拡張を提唱する効率的かつ効率的な代替手法を提案する。 代表的なバックボーンネットワークを用いて,多様な視覚認識タスクにまたがる提案手法を検証する。
  論文  参考訳（メタデータ） (2021-03-22T20:36:34Z)
• Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning [58.14807331265752]
  モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。 自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
  論文  参考訳（メタデータ） (2020-12-13T23:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。