論文の概要: Leveraging Visual Supervision for Array-based Active Speaker Detection and Localization

• arxiv url: http://arxiv.org/abs/2312.14021v1
• Date: Thu, 21 Dec 2023 16:53:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-22 14:08:09.698772
• Title: Leveraging Visual Supervision for Array-based Active Speaker Detection and Localization
• Title（参考訳）: アレイ型能動話者検出と局所化のための視覚指導の活用
• Authors: Davide Berghi and Philip J. B. Jackson
• Abstract要約: 簡単な音声畳み込みリカレントニューラルネットワークにより,水平型アクティブ話者検出と局所化を同時に行うことができることを示す。 本稿では,生徒の学習アプローチを取り入れた,自己指導型学習パイプラインを提案する。
• 参考スコア（独自算出の注目度）: 3.836171323110284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional audio-visual approaches for active speaker detection (ASD) typically rely on visually pre-extracted face tracks and the corresponding single-channel audio to find the speaker in a video. Therefore, they tend to fail every time the face of the speaker is not visible. We demonstrate that a simple audio convolutional recurrent neural network (CRNN) trained with spatial input features extracted from multichannel audio can perform simultaneous horizontal active speaker detection and localization (ASDL), independently of the visual modality. To address the time and cost of generating ground truth labels to train such a system, we propose a new self-supervised training pipeline that embraces a ``student-teacher'' learning approach. A conventional pre-trained active speaker detector is adopted as a ``teacher'' network to provide the position of the speakers as pseudo-labels. The multichannel audio ``student'' network is trained to generate the same results. At inference, the student network can generalize and locate also the occluded speakers that the teacher network is not able to detect visually, yielding considerable improvements in recall rate. Experiments on the TragicTalkers dataset show that an audio network trained with the proposed self-supervised learning approach can exceed the performance of the typical audio-visual methods and produce results competitive with the costly conventional supervised training. We demonstrate that improvements can be achieved when minimal manual supervision is introduced in the learning pipeline. Further gains may be sought with larger training sets and integrating vision with the multichannel audio system.
• Abstract（参考訳）: アクティブスピーカー検出(ASD)に対する従来の音声-視覚的アプローチは、通常、ビデオ中の話者を見つけるために、視覚的に事前に抽出された顔トラックとそれに対応するシングルチャンネルオーディオに依存している。 したがって、話者の顔が見えなくなるたびに失敗する傾向がある。 マルチチャンネルオーディオから抽出した空間入力特徴を学習した単純な音声畳み込み型ニューラルネットワーク(CRNN)が,視覚的モダリティとは無関係に,同時水平能動話者検出と位置決めを実現できることを示す。 そこで,このようなシステムを学習するための基礎的真理ラベルの作成に要する時間とコストに対処するために,「学生教師」の学習アプローチを取り入れた新しい自己教師訓練パイプラインを提案する。 従来の訓練済みアクティブスピーカ検出器を「教師」ネットワークとして採用し、擬似ラベルとして話者の位置を提供する。 マルチチャネルオーディオ ``student'' ネットワークは、同じ結果を生成するように訓練される。 推論において、生徒ネットワークは教師ネットワークが視覚的に検出できない耳障りな話者を一般化し、見つけ出すことができ、リコール率は大幅に向上する。 TragicTalkersデータセットの実験では、提案した自己教師付き学習アプローチでトレーニングされたオーディオネットワークが、典型的な音声視覚的手法の性能を超え、コストのかかる従来の教師付き訓練と競合する結果が得られることが示された。 学習パイプラインに手動による最小限の監督を導入することで、改善が達成できることを示す。 より大きなトレーニングセットと多チャンネルオーディオシステムとのビジョンの統合により、さらなるゲインを求めることができる。

関連論文リスト

• Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning [2.3076690318595676]
  本稿では,ネットワーク型IoTオーディオデバイスを対象とした,計算効率のよい分散話者ダイアリゼーションフレームワークを提案する。 フェデレートラーニングモデルは、トレーニングのための大規模なオーディオデータベースを必要とせずに、会話に参加する参加者を特定することができる。 話者埋め込みのコサイン類似性に依存するフェデレートラーニングモデルに対して、教師なしオンライン更新機構を提案する。
  論文  参考訳（メタデータ） (2024-04-16T18:40:28Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Late Audio-Visual Fusion for In-The-Wild Speaker Diarization [33.0046568984949]
  本稿では,後期融合による音声のみと視覚中心のサブシステムを組み合わせた音声視覚ダイアリゼーションモデルを提案する。 オーディオでは,提案手法を用いてシミュレーションされたプロキシデータセットのレシピをトレーニングした場合,アトラクタベースのエンドツーエンドシステム(EEND-EDA)が極めてよく動作することを示す。 また、学習中にデコードに注意を払い、話者認識損失を減らし、より多くの話者を処理するEEND-EDA++の改良版も提案する。
  論文  参考訳（メタデータ） (2022-11-02T17:20:42Z)
• Improved Relation Networks for End-to-End Speaker Verification and Identification [0.0]
  話者識別システムは、少数のサンプルが与えられた一連の登録話者の中から話者を識別する。 話者検証と少数ショット話者識別のための改良された関係ネットワークを提案する。 話者検証におけるプロトタイプネットワークの利用に触発されて、トレーニングセットに存在するすべての話者のうち、現在のエピソードのサンプルを分類するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-31T17:44:04Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)
• Streaming Multi-speaker ASR with RNN-T [8.701566919381223]
  本研究は、リカレントニューラルネットワークトランスデューサ(RNN-T)に基づくマルチスピーカ音声認識に焦点を当てている。 RNN-Tの高レベル話者追跡能力を高めるために,前者における話者順ラベルの分離が重要であることを示す。 我々の最良モデルは、前述した最先端非ストリーミングモデル(10.3%)と競合する2話者Libriデータ上で10.2%のWERを達成する。
  論文  参考訳（メタデータ） (2020-11-23T19:10:40Z)
• Self-Supervised Learning of Audio-Visual Objects from Video [108.77341357556668]
  本稿では,音源の局所化とグループ化,時間とともに情報収集を行うための光フローに着目したモデルを提案する。 本稿では,4つの下流音声指向タスクにおいて,モデルが学習する音声-視覚オブジェクトの埋め込みの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-10T16:18:01Z)
• Augmentation adversarial training for self-supervised speaker recognition [49.47756927090593]
  話者ラベルのない頑健な話者認識モデルを訓練する。 VoxCelebとVOiCESデータセットの実験は、セルフスーパービジョンを使用した以前の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-07-23T15:49:52Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)
• Multi-task Learning for Speaker Verification and Voice Trigger Detection [18.51531434428444]
  両タスクを共同で行うための1つのネットワークのトレーニングについて検討する。 本研究では,数千時間のラベル付きトレーニングデータを用いてモデルを訓練する大規模実証的研究を提案する。 以上の結果から,学習表現において,両話者情報を符号化できることが示唆された。
  論文  参考訳（メタデータ） (2020-01-26T21:19:27Z)
• Visually Guided Self Supervised Learning of Speech Representations [62.23736312957182]
  音声視覚音声の文脈における視覚的モダリティによって導かれる音声表現を学習するためのフレームワークを提案する。 音声クリップに対応する静止画像をアニメーション化し、音声セグメントの実際の映像にできるだけ近いよう、生成した映像を最適化する。 我々は,感情認識のための技術成果と,音声認識のための競争結果を達成する。
  論文  参考訳（メタデータ） (2020-01-13T14:53:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。