論文の概要: Beyond Visible Speakers: Context-Aware Active Speaker Detection with Speaker Registration

• arxiv url: http://arxiv.org/abs/2610.33127v1
• Date: Fri, 23 Oct 2026 12:21:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.253636
• Title: Beyond Visible Speakers: Context-Aware Active Speaker Detection with Speaker Registration
• Title（参考訳）: 可視話者を超えて: 話者登録による文脈認識型アクティブ話者検出
• Abstract要約: ROAM-ASD-C と ROAM-ASD-CR を導入し,文脈的・識別的推論による ROAM-ASD の拡張を行った。 ROAM-ASD-CRは、登録音声から派生した登録話者表現を取り入れており、その話者が視覚的に観察されていない場合でも、話者がアクティブであるかどうかを検出することができる。
• 参考スコア（独自算出の注目度）: 23.43222157376115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Active speaker detection (ASD) relies on audiovisual correspondence between speech and visible faces, yet this correspondence becomes unreliable in crowded scenes, or when visual evidence is unavailable. We introduce ROAM-ASD-C and ROAM-ASD-CR to extend ROAM-ASD with contextual and identity-aware reasoning. ROAM-ASD-C jointly reasons across simultaneously visible candidates, allowing other faces to provide complementary evidence when the target observation is ambiguous or incomplete. ROAM-ASD-CR incorporates registered-speaker representations derived from enrollment speech, allowing detection of whether a speaker is active even when that speaker is not visually observed. ROAM-ASD-C achieves state-of-the-art performance across five ASD benchmarks: 96.8% mAP on AVA, 98.9% on WASD, 88.8% on UniTalk, 98.7% on Talkies, and 99.5% on ASW. It also improves ROAM-ASD by up to 13.3 mAP under 75% target-track visual removal.
• Abstract（参考訳）: アクティブ話者検出(ASD)は、音声と可視性のある顔の音響的対応に依存するが、混み合ったシーンや視覚的証拠が利用できない場合には、この対応は信頼できない。 ROAM-ASD-C と ROAM-ASD-CR を導入し,文脈的・識別的推論による ROAM-ASD の拡張を行った。 ROAM-ASD-Cは、同時に見える候補間で共同で原因を定め、目的の観測が曖昧であるか不完全であるかを他の顔が補完する証拠を提供する。 ROAM-ASD-CRは、登録音声から派生した登録話者表現を取り入れており、その話者が視覚的に観察されていない場合でも、話者がアクティブであるかどうかを検出することができる。 AVAの96.8% mAP、WASDの98.9%、UniTalkの88.8%、Talkiesの98.7%、ASWの99.5%である。 また、ROAM-ASDを最大13.3 mAPまで改善し、75%の視線除去が可能となった。

関連論文リスト

• ROAM-ASD: Robust Open-World Active Speaker Detection with Flexible Multimodal Fusion [23.43222157376115]
  ROAM-ASDは、音声、フルフェイス、きめ細かい口の表現を共同でモデル化する堅牢なフレームワークである。 5つのアクティブな話者検出ベンチマークで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2026-09-22T16:18:10Z)
• Enhancing Speaker Verification with Whispered Speech via Post-Processing [1.8849814100256281]
  本研究では,より頑健な発話障害に対する表現を得るための学習レシピを用いたモデルを提案する。 提案システムは、細調整された話者検証バックボーン上に構築されたエンコーダ-デコーダ構造を用いる。 また, 発声音声を用いた性能評価において, 最も人気があり, 最先端の話者検証モデルの要約も提供する。
  論文  参考訳（メタデータ） (2026-04-22T06:23:40Z)
• Affect Decoding in Phonated and Silent Speech Production from Surface EMG [87.23336551848297]
  EMGなどの調音筋活動の計測は、音声音声分析とともに感情によって発声がどのように変調されるかを明らかにすることができる。 そこで本研究では,12人の被験者から3つのタスクにまたがる2,780の発話からなるデータセットを導入し,オブジェクト内およびオブジェクト間デコーディングの評価を行った。 以上の結果から,EMG表現は最大0.845AUCのフラストレーションを確実に識別し,調音モード全体にわたってよく一般化することがわかった。
  論文  参考訳（メタデータ） (2026-03-12T09:22:02Z)
• Cocktail-Party Audio-Visual Speech Recognition [58.222892601847924]
  本研究では,現在のAVSRシステムのベンチマークを行うために設計された,新しい音声-視覚カクテルパーティデータセットを提案する。 音声とサイレント顔の両方からなる1526時間AVSRデータセットをコントリビュートし,カクテルパーティー環境における顕著な性能向上を実現した。 我々の手法は、WERを最先端と比較して67%削減し、WERを明示的なセグメンテーション手法に頼ることなく、極音の119%から39.2%に削減する。
  論文  参考訳（メタデータ） (2025-06-02T19:07:51Z)
• Towards Robust Overlapping Speech Detection: A Speaker-Aware Progressive Approach Using WavLM [53.17360668423001]
  重なり合う音声検出(OSD)は、会話中に複数の話者が重複する領域を特定することを目的としている。 本研究では,サブタスク間の相関性を高めるために,プログレッシブトレーニング戦略を活用する話者対応プログレッシブOSDモデルを提案する。 実験の結果,提案手法は,AMIテストセット上でF1スコアが82.76%の最先端性能を実現することがわかった。
  論文  参考訳（メタデータ） (2025-05-29T07:47:48Z)
• Audio-visual End-to-end Multi-channel Speech Separation, Dereverberation and Recognition [52.11964238935099]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 ビデオ入力は、マスクベースのMVDR音声分離、DNN-WPEまたはスペクトルマッピング(SpecM)ベースの音声残響フロントエンドで一貫して実証される。 オックスフォードLSS2データセットのシミュレーションや再生を用いて合成した重畳および残響音声データについて実験を行った。
  論文  参考訳（メタデータ） (2023-07-06T10:50:46Z)
• Best of Both Worlds: Multi-task Audio-Visual Automatic Speech Recognition and Active Speaker Detection [9.914246432182873]
  ノイズの多い状況下では、自動音声認識は、話者の顔のビデオから得られる視覚信号を追加することで恩恵を受けることができる。 アクティブな話者検出は、可視的な顔のどれがオーディオに対応しているかを各時点に選択することを含む。 近年の研究では、話者の顔の競合するビデオトラックに注意機構を組み込むことで、両問題を同時に解決できることが示されている。 この研究は、マルチタスク損失と共同で訓練できる単一のモデルを示すことによって、アクティブな話者検出精度のこのギャップを埋める。
  論文  参考訳（メタデータ） (2022-05-10T23:03:19Z)
• Active Speakers in Context [88.22935329360618]
  能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。 本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。 実験の結果,構造的特徴アンサンブルはすでにアクティブな話者検出性能の恩恵を受けていることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T01:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。