論文の概要: End-to-End Active Speaker Detection

• arxiv url: http://arxiv.org/abs/2203.14250v1
• Date: Sun, 27 Mar 2022 08:55:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 17:18:49.580476
• Title: End-to-End Active Speaker Detection
• Title（参考訳）: エンドツーエンドアクティブ話者検出
• Authors: Juan Leon Alcazar, Moritz Cordes, Chen Zhao, and Bernard Ghanem
• Abstract要約: 本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
• 参考スコア（独自算出の注目度）: 58.7097258722291
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in the Active Speaker Detection (ASD) problem build upon a two-stage process: feature extraction and spatio-temporal context aggregation. In this paper, we propose an end-to-end ASD workflow where feature learning and contextual predictions are jointly learned. Our end-to-end trainable network simultaneously learns multi-modal embeddings and aggregates spatio-temporal context. This results in more suitable feature representations and improved performance in the ASD task. We also introduce interleaved graph neural network (iGNN) blocks, which split the message passing according to the main sources of context in the ASD problem. Experiments show that the aggregated features from the iGNN blocks are more suitable for ASD, resulting in state-of-the art performance. Finally, we design a weakly-supervised strategy, which demonstrates that the ASD problem can also be approached by utilizing audiovisual data but relying exclusively on audio annotations. We achieve this by modelling the direct relationship between the audio signal and the possible sound sources (speakers), as well as introducing a contrastive loss.
• Abstract（参考訳）: 能動話者検出(asd)問題の最近の進歩は、特徴抽出と時空間的文脈集約という2段階のプロセスに基づいている。 本稿では,機能学習と文脈予測を共同で学習するエンドツーエンドasdワークフローを提案する。 エンドツーエンドのトレーニング可能なネットワークは,マルチモーダル埋め込みと時空間の集約を同時に学習する。 これにより、より適切な特徴表現とasdタスクのパフォーマンスが向上する。 また、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割するインターリーブグラフニューラルネットワーク(iGNN)ブロックも導入する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。 最後に,オーディオビジュアルデータを活用することで,オーディオアノテーションのみに頼らず,ASD問題にもアプローチできることを実証する弱い教師付き戦略を設計する。 音声信号と可能な音源(スピーカ)との直接的関係をモデル化し、コントラスト的な損失を生じさせることにより、これを実現する。

関連論文リスト

• VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing [81.32613443072441]
  テキスト音声(TTS)、音声変換(VC)、自動音声認識(ASR)などのタスクでは、クロスモーダルな粒度(フレームレベル)シーケンス表現が望まれる。 本稿では,テキストと音声を共同空間に組み込むために,クロスモーダルシーケンストランスコーダを用いた量子コントラスト・トーケン・音響事前学習(VQ-CTAP)手法を提案する。
  論文  参考訳（メタデータ） (2024-08-11T12:24:23Z)
• Progressive Confident Masking Attention Network for Audio-Visual Segmentation [8.591836399688052]
  Audio-Visualとして知られる課題が出現し、シーン内のオブジェクトを音化するためのセグメンテーションマップを作成することを目的としている。 PMCANet(Progressive Confident Masking Attention Network)を紹介する。 注意機構を利用して、音声信号と視覚フレームの本質的な相関を明らかにする。
  論文  参考訳（メタデータ） (2024-06-04T14:21:41Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations [13.020158123538138]
  音声分離誘導ダイアリゼーション(SSGD)は、まず話者を分離し、各分離ストリームに音声活動検出(VAD)を適用することでダイアリゼーションを行う。 3つの最先端音声分離(SSep)アルゴリズムを検討し,その性能をオンラインおよびオフラインのシナリオで検討する。 我々は,CALLHOMEの8.8%のDORを実現し,現在の最先端のニューラルダイアリゼーションモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T16:33:56Z)
• Learning Long-Term Spatial-Temporal Graphs for Active Speaker Detection [21.512786675773675]
  複数の話者によるビデオにおけるアクティブな話者検出は難しい課題である。 本研究では空間時間グラフ学習フレームワークSPELLを提案する。 SPELLは計算コストのかかる完全連結グラフニューラルネットワークに頼ることなく、すべてのノードの長時間の時間的コンテキストを推論することができる。
  論文  参考訳（メタデータ） (2022-07-15T23:43:17Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• Rethinking Audio-visual Synchronization for Active Speaker Detection [62.95962896690992]
  アクティブ話者検出(ASD)に関する既存の研究は、アクティブ話者の定義に一致しない。 本稿では,アテンションモジュールに位置符号化を適用し,教師付きASDモデルに適用し,同期キューを活用することを提案する。 実験結果から,既存モデルの制限に対処して,非同期音声を発話しないものとして検出できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-21T14:19:06Z)
• Towards Intelligibility-Oriented Audio-Visual Speech Enhancement [8.19144665585397]
  本稿では,STOI(Modified short-time objective intelligibility)メトリックをトレーニングコスト関数として用いた完全畳み込み型AVSEモデルを提案する。 提案するI-O AV SEフレームワークは,従来の距離に基づく損失関数を訓練したオーディオ専用(AO)およびAVモデルより優れている。
  論文  参考訳（メタデータ） (2021-11-18T11:47:37Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Temporarily-Aware Context Modelling using Generative Adversarial Networks for Speech Activity Detection [43.662221486962274]
  音声活動検出(SAD)のための新しい共同学習フレームワークを提案する。 我々は、生成した敵対的ネットワークを利用して、次の音声セグメントと共にフレームワイド音声/非音声分類の共用予測のための損失関数を自動学習する。 NIST OpenSAT' 17 や AMI Meeting,HAVIC など,複数の公開ベンチマーク上で提案するフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2020-04-02T02:33:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。