論文の概要: Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT

• arxiv url: http://arxiv.org/abs/2205.07180v1
• Date: Sun, 15 May 2022 04:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 18:02:28.962116
• Title: Learning Lip-Based Audio-Visual Speaker Embeddings with AV-HuBERT
• Title（参考訳）: AV-HuBERTを用いた唇型音声-映像話者埋め込みの学習
• Authors: Bowen Shi and Abdelrahman Mohamed and Wei-Ning Hsu
• Abstract要約: 本稿では,音声-視覚的話者表現学習のための自己教師付き事前学習について検討する。 音声を入力として、話者の口面積を示す視覚ストリームを使用する。 我々は,事前学習の有効性と視覚的モダリティを検証した広範囲な実験を行った。
• 参考スコア（独自算出の注目度）: 37.343431783936126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates self-supervised pre-training for audio-visual speaker representation learning where a visual stream showing the speaker's mouth area is used alongside speech as inputs. Our study focuses on the Audio-Visual Hidden Unit BERT (AV-HuBERT) approach, a recently developed general-purpose audio-visual speech pre-training framework. We conducted extensive experiments probing the effectiveness of pre-training and visual modality. Experimental results suggest that AV-HuBERT generalizes decently to speaker related downstream tasks, improving label efficiency by roughly ten fold for both audio-only and audio-visual speaker verification. We also show that incorporating visual information, even just the lip area, greatly improves the performance and noise robustness, reducing EER by 38% in the clean condition and 75% in noisy conditions. Our code and models will be publicly available.
• Abstract（参考訳）: 本稿では,話者の発話領域を示す映像ストリームを入力として使用する音声-視覚話者表現学習のための自己教師付き事前学習について検討する。 本研究は,最近開発された汎用音声視覚言語事前学習フレームワークであるAV-HuBERT (Audio-Visual Hidden Unit BERT) アプローチに焦点を当てた。 プレトレーニングと視覚モダリティーの有効性について広範な実験を行った。 実験結果から,AV-HuBERTは話者関連下流タスクを適切に一般化し,約10倍のラベル効率を向上させることが示唆された。 また, 視覚情報の導入は, 口唇部のみであっても, 性能と騒音の堅牢性を大幅に向上させ, クリーン条件ではEERを38%, ノイズ条件では75%低減させることを示した。 私たちのコードとモデルは公開されます。

関連論文リスト

• AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
  本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。 残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
  論文  参考訳（メタデータ） (2023-08-23T18:20:59Z)
• Audiovisual Masked Autoencoders [93.22646144125457]
  我々は,音声視覚下層分類タスクにおいて,大幅な改善が達成できることを示す。 また,Epic Kitchens における最先端オーディオ映像の表現の伝達性について述べる。
  論文  参考訳（メタデータ） (2022-12-09T17:34:53Z)
• AVATAR: Unconstrained Audiovisual Speech Recognition [75.17253531162608]
  本稿では,ASR TrAnsformeR (AVATAR) を用いて,スペクトルとフルフレームRGBからエンドツーエンドにトレーニングした新しいシーケンス・ツー・シーケンスASR TrAnsformeRを提案する。 本稿では,ハウ2 AV-ASR ベンチマークにおける視覚的モダリティの寄与を,特にシミュレートノイズの存在下で実証する。 また、我々はAV-ASRのための新しい実世界テストベッドVisSpeechを作成し、挑戦的な音声条件下での視覚的モダリティの寄与を実証した。
  論文  参考訳（メタデータ） (2022-06-15T17:33:19Z)
• Robust Self-Supervised Audio-Visual Speech Recognition [29.526786921769613]
  本稿では,Audio-Visual HuBERT(AV-HuBERT)に基づく自己教師型音声視覚音声認識フレームワークを提案する。 利用可能な最大のAVSRベンチマークデータセットであるLSS3では、ラベル付きデータの10%未満を使用して、従来の最先端(28.0%対14.1%)よりも50%優れています。 我々のアプローチは、平均して75%以上(25.8%対5.8%)のオーディオベースモデルのWERを削減する。
  論文  参考訳（メタデータ） (2022-01-05T18:50:50Z)
• Conformer-Based Self-Supervised Learning for Non-Speech Audio Tasks [20.316239155843963]
  本稿では,音声表現学習手法を提案し,それを下流の音声非音声タスクに適用する。 AudioSetベンチマークでは、平均平均精度(mAP)スコアが0.415に達しています。
  論文  参考訳（メタデータ） (2021-10-14T12:32:40Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。