論文の概要: Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction

• arxiv url: http://arxiv.org/abs/2610.36643v1
• Date: Tue, 27 Oct 2026 05:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-29 04:15:49.231246
• Title: Tap2Listen: Instant Target Switching for Streaming Audio-Visual Speaker Extraction
• Title（参考訳）: Tap2Listen: 音声-ビジュアル話者抽出をストリーミングするインスタントターゲットスイッチ
• Abstract要約: 音声-視覚的ターゲット話者抽出(AV-TSE)は、ターゲット話者の顔を用いて、話者の音声をリアルタイムで抽出する。 本稿では,ターゲットスイッチに対する即時応答を目的としたストリーミングAV-TSEモデルであるTap2Listenを提案する。 スイッチは0.12msの再投射しか必要とせず、すぐに効力を発揮する。
• 参考スコア（独自算出の注目度）: 9.568026927225942
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Streaming audio-visual target speaker extraction (AV-TSE) uses a target speaker's face to extract the speaker's speech from an input audio mixture in real time. However, existing systems fix the target speaker for an entire clip, while conversation demands frequent and immediate target switches. To address this problem, we propose Tap2Listen, a streaming AV-TSE model designed for instant response to target switches. The model separates computation by modality: the target-agnostic audio encoder processes only the mixture, while the target-specific visual cues of the selected face condition only the decoder. A switch requires only a 0.12ms re-projection and takes effect immediately. We also design component-wise losses: a prediction loss for the encoder and a supervised extraction loss for the decoder. For evaluation, we measure how quickly output quality recovers after a switch. On the standard LRS3-2mix test set, Tap2Listen improves SI-SNRi from 8.85 to 9.68 dB at a comparable parameter count. After a switch to a known face, the model produces full-quality output from the first frame, whereas the baseline needs about 1 second to recover. Finally, we show that the proposed streaming AV-TSE model runs in real time on a single CPU core.
• Abstract（参考訳）: 音声-視覚的ターゲット話者抽出(AV-TSE)は、ターゲット話者の顔を用いて、入力されたオーディオミックスから話者の音声をリアルタイムで抽出する。 しかし、既存のシステムは、クリップ全体のターゲット話者を修正し、会話は頻繁で即時ターゲットスイッチを要求する。 そこで我々はTap2Listenを提案する。Tap2Listenはターゲットスイッチに対する即時応答を設計したストリーミングAV-TSEモデルである。 ターゲットに依存しないオーディオエンコーダは混合のみを処理し、選択された顔条件のターゲット固有の視覚的手がかりはデコーダのみである。 スイッチは0.12msの再投射しか必要とせず、すぐに効力を発揮する。 また、エンコーダの予測損失とデコーダの教師付き抽出損失も設計する。 評価のために,スイッチ後の出力品質の回復速度を測定した。 標準のLSS3-2mixテストセットでは、Tap2ListenはSI-SNRiを8.85から9.68dBに改善した。 既知の顔に切り替えた後、モデルは第1フレームから完全品質の出力を生成するが、ベースラインは回復するのに約1秒を要する。 最後に,提案するストリーミングAV-TSEモデルが,単一のCPUコア上でリアルタイムに動作することを示す。

関連論文リスト

• AnchorPrompt: Self-Distilled Soft Prompts for Robust Audio-Language Models [27.146854606054575]
  大型オーディオ言語モデル(LALM)は入力摂動に敏感である。 AnchorPromptは、モデルを凍結し続ける効率的な適応法である。 AnchorPromptは、ほとんどのテスト条件において、応答整合性を改善する。
  論文  参考訳（メタデータ） (2026-09-30T20:53:46Z)
• Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching [51.70360630470263]
  Video-to-audio (V2A) は、サイレントビデオからコンテンツマッチング音声を合成することを目的としている。 本稿では,修正フローマッチングに基づくV2AモデルであるFrierenを提案する。 実験により、フリーレンは世代品質と時間的アライメントの両方で最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-06-01T06:40:22Z)
• Streaming Audio-Visual Speech Recognition with Alignment Regularization [69.30185151873707]
  本稿では,ハイブリッド接続型時間分類(CTC)/アテンションニューラルネットワークアーキテクチャに基づくストリーミングAV-ASRシステムを提案する。 提案したAV-ASRモデルは、オフラインおよびオンライン設定でLip Reading Sentences 3データセット上で、WERの2.0%と2.6%を達成する。
  論文  参考訳（メタデータ） (2022-11-03T20:20:47Z)
• Unified End-to-End Speech Recognition and Endpointing for Fast and Efficient Speech Systems [17.160006765475988]
  本稿では,単一エンドツーエンド (E2E) モデルを用いて, ASR と EP タスクを協調訓練する手法を提案する。 我々は、EPにオーディオフレームを直接消費するか、ASRモデルから低レベルの潜在表現を消費するよう訓練する「スウィッチ」接続を導入する。 これにより、推論中にフレームフィルタリングを低コストで行うことができる単一のE2Eモデルが得られる。
  論文  参考訳（メタデータ） (2022-11-01T23:43:15Z)
• High Fidelity Neural Audio Compression [92.4812002532009]
  我々は、ニューラルネットワークを利用した最先端のリアルタイム、高忠実、オーディオを導入する。 ストリーミングエンコーダ-デコーダアーキテクチャと、エンドツーエンドでトレーニングされた量子化潜在空間で構成されている。 単一マルチスケール・スペクトログラム・アドバイザリーを用いて、トレーニングを簡素化し、高速化する。
  論文  参考訳（メタデータ） (2022-10-24T17:52:02Z)
• Unified Streaming and Non-streaming Two-pass End-to-end Model for Speech Recognition [19.971343876930767]
  ストリーミングと非ストリーミングエンドツーエンド(E2E)音声認識を1つのモデルで統一する,新たな2パス方式を提案する。 本モデルでは,エンコーダのコンフォメータ層を改良したハイブリッドCTC/アテンションアーキテクチャを採用している。 オープンな170時間AISHELL-1データセットの実験により、提案手法はストリーミングモデルと非ストリーミングモデルを簡便かつ効率的に統一できることを示した。
  論文  参考訳（メタデータ） (2020-12-10T06:54:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。