論文の概要: Cross-domain Voice Activity Detection with Self-Supervised Representations

• arxiv url: http://arxiv.org/abs/2209.11061v1
• Date: Thu, 22 Sep 2022 14:53:44 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 14:53:08.250344
• Title: Cross-domain Voice Activity Detection with Self-Supervised Representations
• Title（参考訳）: 自己教師付き表現を用いたクロスドメイン音声活動検出
• Authors: Sina Alisamir, Fabien Ringeval, Francois Portet
• Abstract要約: 音声活動検出(Voice Activity Detection, VAD)は、音声信号の音声区間を検出することを目的とする。 現在の最先端の手法は、音響に直接含まれている特徴を活用するニューラルネットワークのトレーニングに重点を置いている。 自己監視学習(SSL)に基づく表現は,異なる領域に適応可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.02236667251654
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Voice Activity Detection (VAD) aims at detecting speech segments on an audio signal, which is a necessary first step for many today's speech based applications. Current state-of-the-art methods focus on training a neural network exploiting features directly contained in the acoustics, such as Mel Filter Banks (MFBs). Such methods therefore require an extra normalisation step to adapt to a new domain where the acoustics is impacted, which can be simply due to a change of speaker, microphone, or environment. In addition, this normalisation step is usually a rather rudimentary method that has certain limitations, such as being highly susceptible to the amount of data available for the new domain. Here, we exploited the crowd-sourced Common Voice (CV) corpus to show that representations based on Self-Supervised Learning (SSL) can adapt well to different domains, because they are computed with contextualised representations of speech across multiple domains. SSL representations also achieve better results than systems based on hand-crafted representations (MFBs), and off-the-shelf VADs, with significant improvement in cross-domain settings.
• Abstract（参考訳）: 音声活動検出(VAD)は、今日の多くの音声ベースアプリケーションにとって必要な第一歩である音声信号の音声セグメントを検出することを目的としている。 現在の最先端の手法は、メルフィルタバンク(mfbs)などの音響的特徴を直接活用するニューラルネットワークのトレーニングに焦点を当てている。 このような手法は、音響が影響を受ける新しい領域に適応するために追加の正規化ステップを必要とするが、これは単にスピーカー、マイク、環境の変化によるものである。 さらに、この正規化ステップは、通常、新しいドメインで利用可能なデータ量に非常に影響を受けやすいなど、特定の制限を持つ、かなり初歩的な方法である。 そこで我々は,クラウドソースの共通音声コーパスを利用して,自己監視学習(SSL)に基づく表現が,複数のドメインにまたがる発話の文脈的表現によって計算されるため,異なるドメインに適応可能であることを示す。 SSL表現は、手作りの表現(MFB)や既製のVADに基づくシステムよりも優れた結果が得られる。

関連論文リスト

• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• OpenSR: Open-Modality Speech Recognition via Maintaining Multi-Modality Alignment [57.15449072423539]
  オープンモダリティ音声認識(textbfOpenSR)の学習システムを提案する。 OpenSRは、3つの異なる設定で1から1へのモダリティ転送を可能にする。 既存の数ショットとフルショットのリップリード方式と比較して、非常に競争力のあるゼロショット性能を実現している。
  論文  参考訳（メタデータ） (2023-06-10T11:04:10Z)
• Automatic Data Augmentation for Domain Adapted Fine-Tuning of Self-Supervised Speech Representations [21.423349835589793]
  SSL(Self-Supervised Learning)は、大量のラベルのない音声データを活用して音声認識モデルの性能を向上させる。 これにもかかわらず、プレトレーニングとターゲットデータセットの音響ミスマッチに直面しながら、音声SSL表現が失敗する可能性がある。 音響領域におけるそのようなミスマッチを示すケースを対象とした,新しい教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T09:30:49Z)
• Unsupervised Improvement of Audio-Text Cross-Modal Representations [19.960695758478153]
  本研究では、教師なしのテキストと音声を用いて、そのような表現の学習フレームワークを改善するための教師なしのアプローチについて研究する。 ドメイン固有のキュレーションをソフトラベル付きコントラスト損失と併用することで、ゼロショット分類性能において大幅な改善が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-03T02:30:46Z)
• Multi-source Domain Adaptation for Text-independent Forensic Speaker Recognition [36.83842373791537]
  話者認識システムを新しい環境に適応させることは、良好な性能モデルを改善するために広く使われている手法である。 従来の研究では、複数の音響領域からトレーニングデータを収集するより実践的なシナリオを無視した単一ドメイン適応に焦点が当てられていた。 複数の音響領域にまたがる適応性能を高めるために,3つの新しい適応手法を提案する。
  論文  参考訳（メタデータ） (2022-11-17T22:11:25Z)
• Audio-Adaptive Activity Recognition Across Video Domains [112.46638682143065]
  ドメイン間のばらつきが少なく、どのアクティビティが起こっていないかを確実に示すことができるので、ドメイン適応のためにアクティビティサウンドを活用します。 視覚特徴表現を識別的に調整するオーディオ適応型エンコーダと学習方法を提案する。 また、アクターシフトという新たなタスクを対応するオーディオ・ビジュアル・データセットで導入し、アクターの出現が劇的に変化する状況において、我々の手法に挑戦する。
  論文  参考訳（メタデータ） (2022-03-27T08:15:20Z)
• Unsupervised Domain Adaptation in Speech Recognition using Phonetic Features [6.872447420442981]
  音声特徴量を用いた音声認識において、教師なし性に基づくドメイン適応を行う手法を提案する。 TIMITデータセット上で実験を行い,提案手法を用いて音素誤り率を著しく低減した。
  論文  参考訳（メタデータ） (2021-08-04T06:22:12Z)
• Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain [103.3388198420822]
  複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。 本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。 オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
  論文  参考訳（メタデータ） (2021-02-23T09:59:31Z)
• DEAAN: Disentangled Embedding and Adversarial Adaptation Network for Robust Speaker Representation Learning [69.70594547377283]
  話者関連およびドメイン固有の特徴を解き放つための新しいフレームワークを提案する。 我々のフレームワークは、より話者差別的でドメイン不変な話者表現を効果的に生成できる。
  論文  参考訳（メタデータ） (2020-12-12T19:46:56Z)
• Cross-domain Adaptation with Discrepancy Minimization for Text-independent Forensic Speaker Verification [61.54074498090374]
  本研究では,複数の音響環境下で収集したCRSS-Forensicsオーディオデータセットを紹介する。 我々は、VoxCelebデータを用いてCNNベースのネットワークを事前訓練し、次に、CRSS-Forensicsのクリーンな音声で高レベルのネットワーク層の一部を微調整するアプローチを示す。
  論文  参考訳（メタデータ） (2020-09-05T02:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。