論文の概要: Comparing Self-Supervised Learning Models Pre-Trained on Human Speech and Animal Vocalizations for Bioacoustics Processing

• arxiv url: http://arxiv.org/abs/2501.05987v1
• Date: Fri, 10 Jan 2025 14:18:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:26:21.445687
• Title: Comparing Self-Supervised Learning Models Pre-Trained on Human Speech and Animal Vocalizations for Bioacoustics Processing
• Title（参考訳）: 生物音響処理のための人間音声と動物音声を用いた自己監督学習モデルの比較
• Authors: Eklavya Sarkar, Mathew Magimai. -Doss,
• Abstract要約: 自己教師付き学習(SSL)基盤モデルは、強力でドメインに依存しない汎用的特徴抽出器として登場した。 本稿では,動物発声に直接事前学習したSSLモデルが,事前学習した音声に対して有意な優位性をもたらすかどうかを考察する。
• 参考スコア（独自算出の注目度）: 19.205671029694074
• License:
• Abstract: Self-supervised learning (SSL) foundation models have emerged as powerful, domain-agnostic, general-purpose feature extractors applicable to a wide range of tasks. Such models pre-trained on human speech have demonstrated high transferability for bioacoustic processing. This paper investigates (i) whether SSL models pre-trained directly on animal vocalizations offer a significant advantage over those pre-trained on speech, and (ii) whether fine-tuning speech-pretrained models on automatic speech recognition (ASR) tasks can enhance bioacoustic classification. We conduct a comparative analysis using three diverse bioacoustic datasets and two different bioacoustic tasks. Results indicate that pre-training on bioacoustic data provides only marginal improvements over speech-pretrained models, with comparable performance in most scenarios. Fine-tuning on ASR tasks yields mixed outcomes, suggesting that the general-purpose representations learned during SSL pre-training are already well-suited for bioacoustic tasks. These findings highlight the robustness of speech-pretrained SSL models for bioacoustics and imply that extensive fine-tuning may not be necessary for optimal performance.
• Abstract（参考訳）: 自己教師付き学習(SSL)基盤モデルは、広範囲のタスクに適用可能な強力でドメインに依存しない汎用的特徴抽出器として登場した。 人間の音声で事前学習したそのようなモデルは、生体音響処理のための高い伝達性を示す。 この論文は (i)動物発声を直接訓練したSSLモデルが、事前訓練した音声に対して有意な優位性を示すか否か。 (II) 自動音声認識(ASR) タスクにおける微調整音声予測モデルが生体音響分類を向上するか否か。 3つの多様なバイオ音響データセットと2つの異なるバイオ音響タスクを用いて比較分析を行った。 以上の結果から,バイオ音響データの事前学習は,ほとんどのシナリオにおいて同等の性能を持つ音声事前学習モデルよりも限界的な改善しか得られないことが示唆された。 ASRタスクの微調整は様々な結果をもたらすため、SSL事前トレーニングで学んだ汎用的な表現は、すでにバイオ音響タスクに適していることが示唆されている。 これらの知見は,バイオ音響学における音声予測型SSLモデルのロバストさを浮き彫りにして,広範囲な微調整が最適性能に必要でないことを示唆している。

関連論文リスト

• On the Utility of Speech and Audio Foundation Models for Marmoset Call Analysis [19.205671029694074]
  本研究は,4,8,16kHzの事前学習帯域において,音声領域と一般音声領域から派生した特徴表現をマーモセットコールタイプおよび発信者分類タスクに対して評価する。 その結果、より高い帯域幅を持つモデルでは性能が向上し、音声や一般音声での事前学習では同等の結果が得られ、スペクトルベースラインよりも改善されることがわかった。
  論文  参考訳（メタデータ） (2024-07-23T12:00:44Z)
• Self-supervised ASR Models and Features For Dysarthric and Elderly Speech Recognition [71.87998918300806]
  本稿では,TDNNとConformer ASRシステムにSSLプリトレーニングモデルとその機能を統合するアプローチについて検討する。 ドメイン適応型HuBERT、wav2vec2-conformer、マルチ言語型XLSRモデルを統合することで構築されたTDNNシステムは、スタンドアロンの微調整型SSL事前訓練モデルより一貫して優れている。 DementiaBank Pitt の高齢者音声認識出力を用いて,アルツハイマー病の検出精度の向上も行った。
  論文  参考訳（メタデータ） (2024-07-03T08:33:39Z)
• End-to-End Speech Recognition and Disfluency Removal with Acoustic Language Model Pretraining [0.0]
  2段階モデルとエンドツーエンドモデルのパフォーマンス比較を再考する。 弱自己教師対象を用いて事前訓練された音声ベース言語モデルは、同様に訓練された2段階モデルの性能に適合するか、超えていることがわかった。
  論文  参考訳（メタデータ） (2023-09-08T17:12:14Z)
• Can Self-Supervised Neural Representations Pre-Trained on Human Speech distinguish Animal Callers? [23.041173892976325]
  自己教師付き学習(SSL)モデルは、入力から埋め込み空間へ重要な情報を抽出するために、その音響領域とは独立して与えられた信号の固有の構造のみを使用する。 本稿では,人間の音声から学習したSSLニューラル表現の相互伝達性について検討し,生体音響信号の解析を行う。
  論文  参考訳（メタデータ） (2023-05-23T13:06:14Z)
• Analysing the Impact of Audio Quality on the Use of Naturalistic Long-Form Recordings for Infant-Directed Speech Research [62.997667081978825]
  早期言語習得のモデリングは、幼児が言語スキルをブートストラップする方法を理解することを目的としている。 近年の進歩により、より自然主義的なトレーニングデータを計算モデルに利用できるようになった。 音質がこれらのデータに対する分析やモデリング実験にどう影響するかは、現時点では不明である。
  論文  参考訳（メタデータ） (2023-05-03T08:25:37Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• Supervision-Guided Codebooks for Masked Prediction in Speech Pre-training [102.14558233502514]
  自己教師型学習(SSL)における事前学習のマズード予測は,音声認識における顕著な進歩をみせている。 本稿では,自動音声認識(ASR)の性能向上のための2つの教師付きコードブック生成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-21T06:08:30Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Deploying self-supervised learning in the wild for hybrid automatic speech recognition [20.03807843795386]
  自己教師付き学習(SSL)法は自動音声認識(ASR)において非常に成功したことが証明されている。 我々は、データ前処理からストリーミングハイブリッドASRモデルのデプロイまで、SSLの未転写オーディオデータを利用する方法を示す。
  論文  参考訳（メタデータ） (2022-05-17T19:37:40Z)
• An Exploration of Prompt Tuning on Generative Spoken Language Model for Speech Processing Tasks [112.1942546460814]
  生成音声言語モデル(GSLM)に基づく音声処理タスクの即時チューニングパラダイムの最初の検討について報告する。 実験結果から, 学習可能なパラメータが少ない音声分類タスクにおいて, 高精度なダウンストリームモデルよりも, 即時チューニング手法が競合性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-03-31T03:26:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。