論文の概要: CAST-ASD: Causal Attention over Speakers and Time for Online Active Speaker Detection

• arxiv url: http://arxiv.org/abs/2610.14676v1
• Date: Sat, 10 Oct 2026 07:47:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 12:21:03.252812
• Title: CAST-ASD: Causal Attention over Speakers and Time for Online Active Speaker Detection
• Title（参考訳）: CAST-ASD:オンラインアクティブ話者検出のための話者に対する因果注意と時間
• Abstract要約: CAST-ASD(Causal Attention over Speakers and Time)について述べる。 最近のASDモデルは、シーン内のすべての顔を共同処理することでパフォーマンスを向上させるが、オフラインで動作する。 CAST-ASDは完全に因果推論と結合顔推論を組み合わせる。
• 参考スコア（独自算出の注目度）: 9.090281921821228
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present CAST-ASD (Causal Attention over Speakers and Time), a causal joint model for active speaker detection (ASD). Recent ASD models improve performance by jointly processing all faces in a scene, but operate offline, with the full clip available before any frame is labelled. Low-latency causal detectors instead process each face independently. CAST-ASD combines joint face reasoning with fully causal inference. It applies scene-level attention across faces within the current frame and causal temporal attention over each face's history, enabling information sharing across speakers with zero lookahead. Its parameter count does not grow with the number of faces. On MSDWild, where most negative face-frames contain a visible competing speaker, CAST-ASD reduces competing-speaker false alarms by 32% relative to the causal per-face detector it extends, with larger gains as scene occupancy increases. It outperforms all causal baselines on both validation splits while using only one-tenth the inter-speaker parameters of a three-block fixed-roster convolution. Code and models are available at https://github.com/prathamg007/CAST-ASD.
• Abstract（参考訳）: CAST-ASD(Causal Attention over Speakers and Time)は,能動話者検出のための因果関節モデルである。 最近のASDモデルは、シーン内のすべての顔を共同処理することでパフォーマンスを向上させるが、すべてのフレームがラベル付けされる前に全クリップでオフラインで動作する。 低遅延因果検出器はそれぞれの顔を独立して処理する。 CAST-ASDは完全に因果推論と結合顔推論を組み合わせる。 これは、現在のフレーム内の顔間でのシーンレベルの注意と、各顔の歴史に対する因果的注意を適用し、ゼロルックヘッドを持つ話者間での情報共有を可能にする。 そのパラメータ数は、顔の数によっては増加しない。 MSDWildでは、ほとんどの負の顔フレームが可視的な競合するスピーカーを含んでいるが、CAST-ASDは、それが拡張する因果対面検知器と比較して、競合するスピーカーの誤報を32%減らし、シーンの占有が増加するにつれて大きな利得を得る。 3ブロック固定ロスター畳み込みの話者間パラメータの10分の1しか使用せず、両方のバリデーション分割におけるすべての因果ベースラインを上回ります。 コードとモデルはhttps://github.com/prathamg007/CAST-ASD.comで公開されている。

関連論文リスト

• Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling [59.97930201616015]
  本研究では,共有バックボーン内で高レベルなクロスモーダルモデリングを行う自己回帰拡散フレームワークであるTalker-T2AVを提案する。 共有自己回帰言語モデルは、統一されたパッチレベルのトークン空間において、オーディオとビデオに対して共同で原因となる。 ポートレートベンチマークの実験では、Talker-T2AVはリップシンク精度、ビデオ品質、オーディオ品質において、デュアルブランチベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-04-26T07:48:47Z)
• SNAP: Speaker Nulling for Artifact Projection in Speech Deepfake Detection [51.096014381455454]
  自己教師付き学習ベースの音声エンコーダは、目に見えない話者を一般化するのに苦労する。 話者の絡み合いは、検出者が人工物に関連する手がかりではなく、話者固有の相関を悪用する原因となる。 我々は、この依存を軽減するために、SNAPという話者無効化フレームワークを紹介した。
  論文  参考訳（メタデータ） (2026-03-21T07:05:30Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations [13.020158123538138]
  音声分離誘導ダイアリゼーション(SSGD)は、まず話者を分離し、各分離ストリームに音声活動検出(VAD)を適用することでダイアリゼーションを行う。 3つの最先端音声分離(SSep)アルゴリズムを検討し,その性能をオンラインおよびオフラインのシナリオで検討する。 我々は,CALLHOMEの8.8%のDORを実現し,現在の最先端のニューラルダイアリゼーションモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T16:33:56Z)
• Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection [9.914246432182873]
  ノイズの多い状況下では、自動音声認識は、話者の顔のビデオから得られる視覚信号を追加することで恩恵を受けることができる。 アクティブな話者検出は、可視的な顔のどれがオーディオに対応しているかを各時点に選択することを含む。 近年の研究では、話者の顔の競合するビデオトラックに注意機構を組み込むことで、両問題を同時に解決できることが示されている。 この研究は、マルチタスク損失と共同で訓練できる単一のモデルを示すことによって、アクティブな話者検出精度のこのギャップを埋める。
  論文  参考訳（メタデータ） (2022-05-10T23:03:19Z)
• Real-time Speaker counting in a cocktail party scenario using Attention-guided Convolutional Neural Network [60.99112031408449]
  重なり合う音声におけるアクティブ話者数を推定するために,CNN(Real-time, Single-channel attention-guided Convolutional Neural Network)を提案する。 提案システムは,CNNモデルを用いて音声スペクトルから高レベル情報を抽出する。 WSJコーパスを用いた重畳音声のシミュレーション実験により,従来の時間平均プーリングに比べて,注意解がほぼ3%向上することが示されている。
  論文  参考訳（メタデータ） (2021-10-30T19:24:57Z)
• UniCon: Unified Context Network for Robust Active Speaker Detection [111.90529347692723]
  我々は、堅牢なアクティブ話者検出(ASD)のための新しい効率的なフレームワークUnified Context Network(UniCon)を導入する。 私たちのソリューションは、複数の種類のコンテキスト情報を共同でモデリングすることに焦点を当てた、新しく統合されたフレームワークです。 異なる設定下で、いくつかの挑戦的なASDベンチマークで徹底的なアブレーション研究が実施されている。
  論文  参考訳（メタデータ） (2021-08-05T13:25:44Z)
• Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario [51.50631198081903]
  本稿では,TS-VAD(Target-Speaker Voice Activity Detection)手法を提案する。 TS-VADは各時間フレーム上の各話者の活動を直接予測する。 CHiME-6での実験では、TS-VADが最先端の結果を得ることが示された。
  論文  参考訳（メタデータ） (2020-05-14T21:24:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。