論文の概要: DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation

• arxiv url: http://arxiv.org/abs/2608.09288v1
• Date: Mon, 10 Aug 2026 08:41:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.165447
• Title: DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation
• Title（参考訳）: DAVE:リアルタイム音声分離のための分離音声強調フレームワーク
• Abstract要約: 実世界の音声分離のための分離型音声視覚強調フレームワークであるDAVEについて述べる。 データ不足問題に対処するため,公開ミーティングコーパスから生成した219,411個の混合物を混合した大規模トレーニングコーパスであるDAVE-Corpusを構築した。 さらに,シーンルーティング,GANに基づくデノナイジング,大音量正規化を非参照パーティション内でのみ適用可能な,認証された選択的拡張チェーンを開発した。
• 参考スコア（独自算出の注目度）: 4.041253468990907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-visual speech enhancement under real-world conditions remains challenging due to unreliable visual inputs and the lack of large-scale training data with realistic acoustic conditions. Existing approaches usually fuse visual features directly into the separation network, making them vulnerable to degraded visual signals. In this paper, we present DAVE, a decoupled audio-visual enhancement framework for real-world speech separation. Firstly, to address the data scarcity issue, we construct DAVE-Corpus, a large-scale training corpus with 219,411 mixtures generated from public meeting corpora through combinatorial acoustic augmentation. Then, we introduce a progressive multi-objective optimization strategy to jointly improve speech separation, intelligibility, speaker identity preservation, and perceptual quality. We further develop a certified selective enhancement chain that applies scene routing, GAN-based denoising, and loudness normalization only within the no-reference partition, guaranteeing non-degradation of reference-based metrics. Experimental results on the Real-World Audio-Visual Speech Enhancement Challenge demonstrate the robustness of DAVE under both real-world mixed scenarios and visual degradation conditions.
• Abstract（参考訳）: 実環境下での音声-視覚的音声強調は、信頼性の低い視覚入力と、現実的な音響条件を伴う大規模トレーニングデータの欠如により、依然として困難である。 既存のアプローチは通常、視覚的特徴を直接分離ネットワークに融合し、劣化した視覚信号に弱い。 本稿では,リアルタイム音声分離のための分離型音声視覚強調フレームワークであるDAVEを提案する。 まず, DAVE-Corpusという大規模学習コーパスを構築し, 219,411種類の混合成分を合成音響増幅により生成する。 そこで我々は,音声の分離,知性,話者のアイデンティティの保存,知覚品質を共同で改善するための,プログレッシブな多目的最適化手法を提案する。 さらに、シーンルーティング、GANベースのデノナイジング、ラウドネス正規化をノン参照パーティション内でのみ適用し、参照ベースのメトリクスの非劣化を保証する、認証された選択的エンハンスメントチェーンを開発する。 実世界の混合シナリオと視覚劣化条件の両方におけるDAVEの堅牢性を示す実世界音声・映像音声強調チャレンジの実験結果。

関連論文リスト

• Audio-visual Contrastive Alignment for Diffusion-based Visual-conditioned Speech Enhancement [29.82200674804193]
  音声視覚音声強調(AVSE)は、唇の動きなどの視覚的手がかりを利用して、雑音の多い環境での音声を回復する。 最近の研究は、拡散に基づく教師なしAVSEを導入し、クロスアテンションによる視覚的特徴に条件付けされた音声拡散モデルを訓練し、後部サンプリングに基づく音声強調のためのデータ駆動の先行として使用した。 本稿では,後部サンプリングフレームワークをそのまま維持しつつ,視覚情報のより強力な利用を促すために,コントラストのある音声視覚損失による拡散訓練目標の強化を提案する。
  論文  参考訳（メタデータ） (2026-06-16T06:39:04Z)
• GLip: A Global-Local Integrated Progressive Framework for Robust Visual Speech Recognition [72.29071664964633]
  我々は、ロバストな視覚音声認識(VSR)のために設計されたグローバルローカル統合プログレッシブフレームワークGLipを提案する。 GLipは、グローバルな視覚的特徴とローカルな視覚的特徴の両方を、容易にアクセス可能な音声視覚データを用いて対応する音声音声単位に整合させることを学ぶ。 第2段階では、ローカル機能を関連するグローバルコンテキストと動的に統合するコンテキスト拡張モジュール(CEM)を導入します。
  論文  参考訳（メタデータ） (2025-09-19T14:36:01Z)
• Spatial and Semantic Embedding Integration for Stereo Sound Event Localization and Detection in Regular Videos [3.2472293599354596]
  本報告では,DCASE2025 Task 3 Challenge: Stereo Sound Event Localization and Detection in regular Video Contentの音声のみおよび音声視覚トラックに提案するシステムについて述べる。 SELDは、時間的事象分類と空間的局所化を組み合わせた複雑なタスクであり、空間的、時間的、意味的な次元にわたって推論を必要とする。 そこで本研究では,音声用CLAPと視覚入力用OWL-ViTという,事前学習型コントラスト言語対応モデルを統合することで,セマンティック情報を用いた標準的なSELDアーキテクチャを強化した。
  論文  参考訳（メタデータ） (2025-07-07T10:08:57Z)
• Mitigating Audiovisual Mismatch in Visual-Guide Audio Captioning [37.17910848101769]
  現在の視覚誘導型オーディオキャプションシステムは、現実のシナリオにおけるオーディオヴィジュアル・アライメントに対処できない。 本稿では,モーダルな不確実性定量化を通じて視覚情報の流れを動的に変調するエントロピー対応ゲート融合フレームワークを提案する。 また,合成ミスマッチ学習ペアを生成するバッチワイドオーディオ視覚シャッフル技術を開発した。
  論文  参考訳（メタデータ） (2025-05-28T07:08:17Z)
• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Improving Generalization of Speech Separation in Real-World Scenarios: Strategies in Simulation, Optimization, and Evaluation [45.76004686788507]
  本研究では,様々な環境やコンテンツから多様なトレーニングデータを生成する新しいデータシミュレーションパイプラインを提案する。 一般的な音声分離モデルの品質向上のための新しい訓練パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-28T20:26:34Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Leveraging Modality-specific Representations for Audio-visual Speech Recognition via Reinforcement Learning [25.743503223389784]
  我々は、MSRLと呼ばれる強化学習(RL)ベースのフレームワークを提案する。 タスク固有のメトリクスに直接関連する報酬関数をカスタマイズする。 LRS3データセットによる実験結果から,提案手法は清浄な騒音条件と各種雑音条件の両方で最先端の手法を実現することが示された。
  論文  参考訳（メタデータ） (2022-12-10T14:01:54Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement [94.0676772764248]
  埋め込み認識音声強調(EASE)を改善するための視覚的埋め込み手法を提案する。 視覚のみのEASE(VEASE)のための事前訓練された電話機や調音位置認識器を用いて、まず唇フレームから視覚埋め込みを抽出する。 次に,マルチモーダルEASE(MEASE)における音声・視覚的特徴の相補性を利用して,雑音の多い音声・唇ビデオからの音声・視覚的埋め込みを情報交叉方式で抽出する。
  論文  参考訳（メタデータ） (2020-09-21T01:26:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。