論文の概要: Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
- arxiv url: http://arxiv.org/abs/2609.30631v1
- Date: Thu, 24 Sep 2026 23:36:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 18:27:51.158329
- Title: Adapting Personalized Speech Enhancement for Low-Latency Audio-Visual Target-Speaker Extraction
- Title（参考訳）: 低レイテンシ・オーディオ・ビジュアル・ターゲット・スピーカ抽出のためのパーソナライズされた音声強調
- Abstract要約: オンライン音声-視覚的ターゲット・スピーカー抽出は、音声品質とバウンディング・ルックヘッドを保ちながら、競合する音声を除去することを目的としている。
本稿では,これらの要件を他の方向からアプローチするAV-PVQE(Audio-Visual Personalized Voice Quality Enhancement)を紹介する。
- 参考スコア（独自算出の注目度）: 12.700128344833507
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Online audio-visual target-speaker extraction aims to remove competing voices while preserving speech quality and bounding lookahead. Existing extractors are built and evaluated for separation on synthetic mixtures, leaving listening quality and meeting behavior largely untested. We introduce Audio-Visual Personalized Voice Quality Enhancement (AV-PVQE), which approaches these requirements from the other direction. We start from a personalized speech enhancement model that reconstructs a requested voice at high quality but confuses the target in 46% of two-speaker mixtures despite clean enrollment. Adding mouth features at its speaker-conditioning input and jointly fine-tuning the visual and reconstruction networks reduces this rate to 1.6%, with no future frames and 20 ms of algorithmic delay. Compared with an online autoregressive audio-visual extractor, AV-PVQE yields separation gains on two synthetic benchmarks and larger gains on recorded meetings, and keeps its advantage on excerpts with more speakers than the fine-tuning mixtures. In personalized P.835 listening tests on two meeting corpora, it improves overall quality over this extractor by 0.57 and 0.63 MOS, with similar mean rating relative to the starting model. Preservation and rejection tests show that it keeps the target intact when no competing voice is present and suppresses competing speech when the target is absent.
- Abstract（参考訳）: オンライン音声-視覚的ターゲット・スピーカー抽出は、音声品質とバウンディング・ルックヘッドを保ちながら、競合する音声を除去することを目的としている。
既存の抽出装置を構築し, 合成混合物を分離し, 聴取品質と聴取行動はほとんど検査されていない。
本稿では,これらの要件を他の方向からアプローチするAV-PVQE(Audio-Visual Personalized Voice Quality Enhancement)を紹介する。
まず、要求された音声を高品質に再構成するパーソナライズされた音声強調モデルから始める。
スピーカーコンディショニングの入力に口の機能を付加し、視覚と再建のネットワークを微調整することで、将来のフレームや20ミリ秒のアルゴリズム遅延を伴わず、このレートを1.6%に削減できる。
AV-PVQEは、オンラインの自己回帰型オーディオ視覚抽出器と比較して、2つの合成ベンチマークで分離ゲインを、記録されたミーティングでより大きなゲインを得られる。
2つのミーティングコーパスでのパーソナライズされたP.835リスニングテストでは、この抽出器の全体的な品質を0.57 MOSと0.63 MOSで改善し、開始モデルと同等の平均評価を得られる。
保存および拒絶試験は、競合する音声が存在しない場合にターゲットを無傷に保ち、ターゲットが存在しないときに競合する音声を抑えることを示す。
関連論文リスト
- Forget who you Forgot: Speaker Unlearning to Prevent Re-Identification in Zero-Shot Text-to-Speech [11.403799406671075]
GUARDは軽量な話者識別アンラーニングフレームワークである。
学習したスピーカーゲートと、凍ったTSバックボーンにスピーカー非依存のアクティベーションステアリングを組み合わせる。
CosyVoice2 では、GUARD は 0.541 から 0.103 に類似度を減らし、150 個のギャラリーで再識別精度を 73.5% から 0.5% に下げている。
論文 参考訳（メタデータ） (2026-09-23T06:00:38Z) - VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation [79.34043102155964]
共同ビデオオーディオ生成のためのチェーン・オブ・オムニ・リワードモデルであるVA-Judgerを提案する。
VA-Judgerは,ドメイン内評価とドメイン外評価の両方において,ヒトの嗜好を予測する上で,指標ベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2026-08-19T06:53:14Z) - Enhancing Speaker Verification with Whispered Speech via Post-Processing [1.8849814100256281]
本研究では,より頑健な発話障害に対する表現を得るための学習レシピを用いたモデルを提案する。
提案システムは、細調整された話者検証バックボーン上に構築されたエンコーダ-デコーダ構造を用いる。
また, 発声音声を用いた性能評価において, 最も人気があり, 最先端の話者検証モデルの要約も提供する。
論文 参考訳（メタデータ） (2026-04-22T06:23:40Z) - Target Speaker Extraction through Comparing Noisy Positive and Negative Audio Enrollments [34.67934887761352]
従来,雑音による話者特性の抽出について検討されてきた。
そこで本研究では,雑音によるターゲット話者情報を符号化する新しい学習戦略について検討する。
実験により,従来よりも2.1dB以上のSI-SNRiを実現するモデルアーキテクチャの有効性が示された。
論文 参考訳（メタデータ） (2025-02-23T15:33:44Z) - AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。
残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
論文 参考訳（メタデータ） (2023-08-23T18:20:59Z) - Convoifilter: A case study of doing cocktail party speech recognition [59.80042864360884]
このモデルは、このアプローチにより、ASRの単語誤り率(WER)を80%から26.4%に下げることができる。
我々はオープンに事前学習モデルを共有し、hf.co/nguyenvulebinh/voice-filterのさらなる研究を促進する。
論文 参考訳（メタデータ） (2023-08-22T12:09:30Z) - Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation
and Recognition [52.11964238935099]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。
オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
論文 参考訳（メタデータ） (2023-07-06T10:50:46Z) - Unified End-to-End Speech Recognition and Endpointing for Fast and
Efficient Speech Systems [17.160006765475988]
本稿では,単一エンドツーエンド (E2E) モデルを用いて, ASR と EP タスクを協調訓練する手法を提案する。
我々は、EPにオーディオフレームを直接消費するか、ASRモデルから低レベルの潜在表現を消費するよう訓練する「スウィッチ」接続を導入する。
これにより、推論中にフレームフィルタリングを低コストで行うことができる単一のE2Eモデルが得られる。
論文 参考訳（メタデータ） (2022-11-01T23:43:15Z) - Acoustic-to-articulatory Inversion based on Speech Decomposition and
Auxiliary Feature [7.363994037183394]
我々は、音声分解ネットワークを事前訓練し、音声を話者埋め込みとコンテンツ埋め込みに分解する。
次に、パーソナライズされた音声特徴から唇補助特徴を推定する新しい補助特徴ネットワークを提案する。
実験結果から,提案手法は,音声特徴のみを用いた最先端の手法と比較して平均RMSEを0.25削減し,平均相関係数を2.0%向上させることがわかった。
論文 参考訳（メタデータ） (2022-04-02T14:47:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。