論文の概要: Unlocking Strong Supervision: A Data-Centric Study of General-Purpose Audio Pre-Training Methods

• arxiv url: http://arxiv.org/abs/2603.25767v1
• Date: Thu, 26 Mar 2026 07:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.198628
• Title: Unlocking Strong Supervision: A Data-Centric Study of General-Purpose Audio Pre-Training Methods
• Title（参考訳）: アンロック・ストロング・スーパービジョン:汎用オーディオ事前学習法に関するデータ中心的研究
• Authors: Xuanru Zhou, Yiwen Shao, Wei-Cheng Tseng, Dong Yu,
• Abstract要約: 現在の音声事前学習は、広義の音声理解タスクのための統一表現を学習しようと試みている。 断片化され続けており、弱い、騒々しい、スケール制限のあるラベルに依存しているためボトルネックになっている。 音声分野は、まず、大規模で強力な監視フレームワークを確立する必要がある、と我々は主張する。
• 参考スコア（独自算出の注目度）: 29.554633767752193
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Current audio pre-training seeks to learn unified representations for broad audio understanding tasks, but it remains fragmented and is fundamentally bottlenecked by its reliance on weak, noisy, and scale-limited labels. Drawing lessons from vision's foundational pre-training blueprint, we argue that the audio field must first establish its own large-scale, strong supervision framework. We introduce a new data-centric pipeline that leverages a high-fidelity captioner to create SOTA-quality captions and the first Unified Tag System (UTS) that bridges speech, music, and environmental sounds. We then conduct a systematic comparative study of different pre-training objectives on these strong source data. Our experiments suggest that data quality and coverage are the primary drivers of performance, while the choice of objective dictates downstream task specialization.
• Abstract（参考訳）: 現在のオーディオ事前学習は、幅広い音声理解タスクの統一表現を学習しようとするが、それは断片化されており、弱い、うるさい、スケール制限のあるラベルに依存しているため、根本的なボトルネックとなっている。 視覚の基礎的な事前学習の青写真から学ぶことで、オーディオ分野はまず、大規模で強力な監視フレームワークを確立する必要があると論じる。 我々は、高忠実なキャプタを利用してSOTA品質のキャプタを作成する新しいデータ中心パイプラインと、音声、音楽、環境音をブリッジする最初の統一タグシステム(UTS)を導入する。 次に、これらの強震源データに基づいて、異なる事前学習目標の体系的な比較研究を行う。 我々の実験は、データ品質とカバレッジがパフォーマンスの主要な要因であり、目的の選択は下流タスクの専門化を規定していることを示唆している。

関連論文リスト

• How Class Ontology and Data Scale Affect Audio Transfer Learning [86.30979869026778]
  トランスファーラーニングは、機械学習において重要な概念であり、人工知能ニューラルネットワークが大規模な事前学習データベースから恩恵を受けることができる。 本稿では,AudioSetのサブセット上で,様々なモデル状態の事前学習を行うオーディオ・オーディオ・トランスファー学習について検討する。 事前学習データにおけるサンプル数やクラス数の増加は、転送学習に肯定的な影響を及ぼすと報告した。
  論文  参考訳（メタデータ） (2026-03-26T14:18:29Z)
• Revisiting Audio-language Pretraining for Learning General-purpose Audio Representation [30.42124709340273]
  我々は,大規模音声テキストコーパスの制限,キャプションの多様性の不足,系統的な探索と評価の欠如の3つの主要な障壁を同定した。 以上の結果から,音声による事前学習が,競合的かつ伝達可能な表現をもたらすことが示された。 これらの知見は,汎用音声表現への有効な経路として,音声事前学習を確立した。
  論文  参考訳（メタデータ） (2025-11-20T19:17:35Z)
• Leveraging Pre-trained AudioLDM for Sound Generation: A Benchmark Study [33.10311742703679]
  本稿では,AudioLDMを用いた音声生成における事前学習のメリットについて検討する。 本研究では,事前学習したAudioLDMの利点,特にデータ共有シナリオの利点を実証する。 様々な頻繁に使用されるデータセットに対して,音生成タスクをベンチマークする。
  論文  参考訳（メタデータ） (2023-03-07T12:49:45Z)
• ASiT: Local-Global Audio Spectrogram vIsion Transformer for Event Classification [42.95038619688867]
  ASiTは、グループマスク付きモデル学習と自己蒸留を用いて、局所的およびグローバルな文脈情報をキャプチャする、新しい自己教師型学習フレームワークである。 我々は、音声イベント分類、キーワードスポッティング、話者識別を含む音声および音声の分類タスクにおいて、事前訓練されたモデルを評価する。
  論文  参考訳（メタデータ） (2022-11-23T18:21:09Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training [33.02912456062474]
  我々は、ラベルなしテキストのBERT目的とラベルなし音声のw2v-BERT目的とを併用した単一のエンコーダを構築する。 プレトレーニング中に音声データとテキストデータの両方を組み込むことで、CoVoST2音声翻訳における下流品質が大幅に向上することが実証された。
  論文  参考訳（メタデータ） (2021-10-20T00:59:36Z)
• Deep Clustering For General-Purpose Audio Representations [2.8086459907382224]
  本稿では,汎用音声表現学習のための自己教師付き事前学習手法であるDECARを紹介する。 大規模Audiosetデータセットのバランスの取れたサブセットにDECARをプリトレーニングする。 これらの表現を、音声、音楽、動物音、音響シーンを含む9つの下流分類タスクに転送する。
  論文  参考訳（メタデータ） (2021-10-17T19:03:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。