論文の概要: How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild

• arxiv url: http://arxiv.org/abs/2106.03932v1
• Date: Mon, 7 Jun 2021 19:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-09 16:05:52.863261
• Title: How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
• Title（参考訳）: 野生の音声・視覚アクティブ話者検出のための3段階アーキテクチャの設計法
• Authors: Okan K\"op\"ukl\"u, Maja Taseska, Gerhard Rigoll
• Abstract要約: 本研究は,音声-視覚的能動話者検出のための実践的ガイドラインを提示する。 我々は、AVA-ActiveSpeakerデータセット上で93.5%のmAPで新しい最先端技術を実現するASDNetという新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 8.368543987898732
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Successful active speaker detection requires a three-stage pipeline: (i) audio-visual encoding for all speakers in the clip, (ii) inter-speaker relation modeling between a reference speaker and the background speakers within each frame, and (iii) temporal modeling for the reference speaker. Each stage of this pipeline plays an important role for the final performance of the created architecture. Based on a series of controlled experiments, this work presents several practical guidelines for audio-visual active speaker detection. Correspondingly, we present a new architecture called ASDNet, which achieves a new state-of-the-art on the AVA-ActiveSpeaker dataset with a mAP of 93.5% outperforming the second best with a large margin of 4.7%. Our code and pretrained models are publicly available.
• Abstract（参考訳）: アクティブな話者検出には、3段階のパイプラインが必要である: (i) クリップ内の全話者のための音声視覚符号化、 (ii) 基準話者と各フレーム内の背景話者の間の話者間関係モデリング、 (iii) 基準話者のための時間的モデリング。 このパイプラインの各ステージは、生成されたアーキテクチャの最終パフォーマンスに重要な役割を果たす。 一連の制御実験に基づき,音声-視覚アクティブ話者検出のための実用的なガイドラインをいくつか提示する。 ASDNetは、AVA-ActiveSpeakerデータセット上で新しい最先端技術を実現し、mAPは93.5%で、2番目に大きなマージンが4.7%である。 私たちのコードと事前トレーニングされたモデルは公開されています。

関連論文リスト

• Multilingual Audio-Visual Speech Recognition with Hybrid CTC/RNN-T Fast Conformer [59.57249127943914]
  本稿では,複数の改良を加えた多言語音声認識モデルを提案する。 我々は、6つの異なる言語に対する音声視覚訓練データの量を増やし、重複しない多言語データセットの自動書き起こしを生成する。 提案モデルでは, LRS3データセット上での新たな最先端性能を実現し, WERは0.8%に達した。
  論文  参考訳（メタデータ） (2024-03-14T01:16:32Z)
• One model to rule them all ? Towards End-to-End Joint Speaker Diarization and Speech Recognition [50.055765860343286]
  本稿では,共同話者ダイアリゼーションと音声認識のための新しい枠組みを提案する。 このフレームワークはSLIDARと呼ばれ、任意の長さの入力を処理でき、任意の数の話者を処理できる。 AMIコーパスからの単調録音実験により, 近接話者と遠距離話者の両方の発話シナリオにおける手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-10-02T23:03:30Z)
• AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual Representation Models [92.92233932921741]
  AV-SUPERBベンチマークは,音声・視覚・バイモーダル融合表現の汎用的評価を可能にする。 我々は,最近の5つの自己教師型モデルを評価し,これらのモデルがすべてのタスクに一般化されないことを示す。 我々は,AudioSetを用いた中間タスクの微調整と音声イベント分類によって表現が改善されることを実証した。
  論文  参考訳（メタデータ） (2023-09-19T17:35:16Z)
• A Light Weight Model for Active Speaker Detection [7.253335671577093]
  入力候補を減らし、2次元と3次元の畳み込みを音声・視覚特徴抽出に分割し、計算量が少ないゲート再帰ユニット(GRU)をクロスモーダルモデリングに応用し、軽量な能動話者検出アーキテクチャを構築した。 AVA-ActiveSpeakerデータセットの実験結果は、我々のフレームワークが競合的なmAP性能(94.1%対94.2%)を達成することを示している。 私たちのフレームワークは、良好な堅牢性を示すColumbiaデータセットでもうまく機能します。
  論文  参考訳（メタデータ） (2023-03-08T08:40:56Z)
• LoCoNet: Long-Short Context Network for Active Speaker Detection [18.06037779826666]
  Active Speaker Detection (ASD) は、ビデオの各フレームで誰が話しているかを特定することを目的としている。 簡単な長短コンテキストネットワークであるLoCoNetを提案する。 LoCoNetは、複数のデータセットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2023-01-19T18:54:43Z)
• Royalflush Speaker Diarization System for ICASSP 2022 Multi-channel Multi-party Meeting Transcription Challenge [4.022057598291766]
  マルチチャンネル多人数会議記述課題へのRoyalflush話者ダイアリゼーションシステムの適用 システムは、音声強調、重複音声検出、話者埋め込み抽出、話者クラスタリング、音声分離、システム融合を含む。
  論文  参考訳（メタデータ） (2022-02-10T03:35:05Z)
• MAAS: Multi-modal Assignation for Active Speaker Detection [59.08836580733918]
  本稿では,本問題のマルチモーダル性に直接対処するアクティブな話者検出手法を提案する。 実験では,単一フレームで構築した小さなグラフデータ構造により,瞬時に発生する視聴覚課題を近似できることを示した。
  論文  参考訳（メタデータ） (2021-01-11T02:57:25Z)
• Active Speakers in Context [88.22935329360618]
  能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。 本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。 実験の結果,構造的特徴アンサンブルはすでにアクティブな話者検出性能の恩恵を受けていることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T01:14:23Z)
• Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario [51.50631198081903]
  本稿では,TS-VAD(Target-Speaker Voice Activity Detection)手法を提案する。 TS-VADは各時間フレーム上の各話者の活動を直接予測する。 CHiME-6での実験では、TS-VADが最先端の結果を得ることが示された。
  論文  参考訳（メタデータ） (2020-05-14T21:24:56Z)
• Robust Speaker Recognition Using Speech Enhancement And Attention Model [37.33388614967888]
  音声強調と話者認識を個別に処理する代わりに、ディープニューラルネットワークを用いた共同最適化により、2つのモジュールを1つのフレームワークに統合する。 雑音に対するロバスト性を高めるため、時間と周波数領域のコンテキスト情報から得られた話者関連特徴を強調するために、多段階アテンション機構を用いる。 その結果,音声強調モデルと多段階アテンションモデルを用いた提案手法は,実験のほとんどの音響条件下では使用しない2つの強いベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-14T20:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。