論文の概要: Late Audio-Visual Fusion for In-The-Wild Speaker Diarization

• arxiv url: http://arxiv.org/abs/2211.01299v2
• Date: Wed, 27 Sep 2023 12:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-28 22:23:27.472104
• Title: Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
• Title（参考訳）: In-The-Wild Speaker Diarizationのためのレイトオーディオ・ビジュアルフュージョン
• Authors: Zexu Pan, Gordon Wichern, Fran\c{c}ois G. Germain, Aswin Subramanian, Jonathan Le Roux
• Abstract要約: 本稿では,後期融合による音声のみと視覚中心のサブシステムを組み合わせた音声視覚ダイアリゼーションモデルを提案する。 オーディオでは,提案手法を用いてシミュレーションされたプロキシデータセットのレシピをトレーニングした場合,アトラクタベースのエンドツーエンドシステム(EEND-EDA)が極めてよく動作することを示す。 また、学習中にデコードに注意を払い、話者認識損失を減らし、より多くの話者を処理するEEND-EDA++の改良版も提案する。
• 参考スコア（独自算出の注目度）: 33.0046568984949
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speaker diarization is well studied for constrained audios but little explored for challenging in-the-wild videos, which have more speakers, shorter utterances, and inconsistent on-screen speakers. We address this gap by proposing an audio-visual diarization model which combines audio-only and visual-centric sub-systems via late fusion. For audio, we show that an attractor-based end-to-end system (EEND-EDA) performs remarkably well when trained with our proposed recipe of a simulated proxy dataset, and propose an improved version, EEND-EDA++, that uses attention in decoding and a speaker recognition loss during training to better handle the larger number of speakers. The visual-centric sub-system leverages facial attributes and lip-audio synchrony for identity and speech activity estimation of on-screen speakers. Both sub-systems surpass the state of the art (SOTA) by a large margin, with the fused audio-visual system achieving a new SOTA on the AVA-AVD benchmark.
• Abstract（参考訳）: 話者ダイアリゼーションは制約付きオーディオでよく研究されているが、より多くの話者、短い発話、一貫性のないオンスクリーンスピーカーを持つ、野生のビデオに挑戦するための研究はほとんど行われていない。 本稿では,音声のみと視覚中心のサブシステムを組み合わせた音声-視覚ダイアリゼーションモデルを提案する。 音声では,提案したプロキシデータセットのレシピを用いてトレーニングすると,アトラクタベースのエンド・ツー・エンドシステム(EEND-EDA)が極めて良好に動作し,デコードに注意を払い,学習中に話者認識損失を低減し,より多くの話者を扱うための改良版EEND-EDA++を提案する。 視覚中心のサブシステムは、顔の特徴と唇音の同期を利用して、画面上の話者のアイデンティティと音声活動の推定を行う。 両方のサブシステムは、AVA-AVDベンチマークで新しいSOTAを達成し、大きなマージンでSOTA(State of the Art)を上回っている。

関連論文リスト

• RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues [45.095482324156606]
  本稿では,複数話者の同時分離を容易にするマルチ話者分離フレームワークを提案する。 VoxCeleb2 と LRS3 のデータセットによる実験結果から,2, 3, 4, 5 話者を分離した場合に,本手法が最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-07-27T09:56:23Z)
• Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
  双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。 この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。 また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-04T03:02:35Z)
• Leveraging Visual Supervision for Array-based Active Speaker Detection and Localization [3.836171323110284]
  簡単な音声畳み込みリカレントニューラルネットワークにより,水平型アクティブ話者検出と局所化を同時に行うことができることを示す。 本稿では,生徒の学習アプローチを取り入れた,自己指導型学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T16:53:04Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• LA-VocE: Low-SNR Audio-visual Speech Enhancement using Neural Vocoders [53.30016986953206]
  雑音の多い音声・視覚音声からのメルスペクトルをトランスフォーマーベースアーキテクチャにより予測する2段階のアプローチであるLA-VocEを提案する。 我々は、何千もの話者と11以上の異なる言語でフレームワークを訓練し、評価し、異なるレベルのバックグラウンドノイズや音声干渉に適応するモデルの能力について研究する。
  論文  参考訳（メタデータ） (2022-11-20T15:27:55Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• AVA-AVD: Audio-visual Speaker Diarization in the Wild [26.97787596025907]
  既存のオーディオ視覚ダイアリゼーションデータセットは主に会議室やニューススタジオのような屋内環境に焦点を当てている。 本稿では,視覚情報に基づいて識別情報をキャプチャする効果的なモータリティマスクを導入した新しいオーディオ・ビジュアル・リレーション・ネットワーク(AVR-Net)を提案する。
  論文  参考訳（メタデータ） (2021-11-29T11:02:41Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)
• Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis Using Discrete Speech Representation [125.59372403631006]
  マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。 マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。 提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
  論文  参考訳（メタデータ） (2020-05-16T15:47:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。