論文の概要: USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding

• arxiv url: http://arxiv.org/abs/2606.06444v1
• Date: Thu, 04 Jun 2026 17:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:45.002802
• Title: USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding
• Title（参考訳）: USAD 2.0:Universal Audio Understandingのための拡張表現拡張
• Authors: Heng-Jui Chang, Alexander H. Liu, Saurabhchand Bhati, Mrudula Athi, Anton Ratnarajah, Amit Chhetri, James Glass,
• Abstract要約: 我々はSSLと教師付き基礎モデルの両方から知識を統合したユニバーサルエンコーダUSAD 2.0を提案する。 USAD 2.0は、教師のミスマッチに対処するためのドメイン対応蒸留を導入し、音楽ドメインにカバー範囲を広げ、下流での使用のために第2段階の教師付き蒸留を追加した。
• 参考スコア（独自算出の注目度）: 48.28550227683622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio encoders are critical to modern audio applications as large language models (LLMs) increasingly rely on a single encoder for diverse inputs. While self-supervised learning (SSL) has yielded strong domain-specific encoders like speech or music experts, multi-domain approaches like USAD and SPEAR remain limited in coverage and evaluation. Recent studies also suggest supervised encoders align better with audio LLMs. We present USAD 2.0, a universal encoder integrating knowledge from both SSL and supervised foundation models. USAD 2.0 introduces domain-aware distillation to address teacher mismatch, extends coverage to the music domain, and adds second-stage supervised distillation for downstream use. We further scale the model to one billion parameters via depth scaling. Experiments show USAD 2.0 achieves strong or state-of-the-art performance across probing and LLM-based evaluations.
• Abstract（参考訳）: オーディオエンコーダは、大規模言語モデル(LLM)が多様な入力に対して単一のエンコーダに依存しているため、現代のオーディオアプリケーションにとって重要なものである。 自己教師付き学習(SSL)は、スピーチや音楽の専門家のような強力なドメイン固有エンコーダを生み出しているが、USADやSPEARのようなマルチドメインアプローチは、カバレッジと評価において制限されている。 近年の研究では、教師ありエンコーダがオーディオLLMとよく一致していることが示唆されている。 我々はSSLと教師付き基礎モデルの両方から知識を統合したユニバーサルエンコーダUSAD 2.0を提案する。 USAD 2.0は、教師のミスマッチに対処するためのドメイン対応蒸留を導入し、音楽ドメインにカバー範囲を広げ、下流での使用のために第2段階の教師付き蒸留を追加した。 深度スケーリングにより、さらに10億のパラメータにスケールします。 実験により、USAD 2.0は、探索およびLLMに基づく評価において、強い、あるいは最先端のパフォーマンスを達成することが示された。

関連論文リスト

• A Human-Inspired Decoupled Architecture for Efficient Audio Representation Learning [0.0]
  本稿では,HEAR(Human-inspireed Efficient Audio Representation)を提案する。 HEARは処理パイプラインを,ローカル特徴抽出のためのアコースティックモデルと,グローバルセマンティック統合のためのタスクモデルという,2つの専用モジュールに分割する。 実験の結果、HEARは推定に15Mパラメータと9.47GFLOPしか必要とせず、従来の基礎モデルの計算コストのごく一部で動作していることがわかった。
  論文  参考訳（メタデータ） (2026-03-27T06:09:03Z)
• How Auditory Knowledge in LLM Backbones Shapes Audio Language Models: A Holistic Evaluation [97.0235251827591]
  大規模言語モデル (LLM) は,Large Audio Language Models (LALM) の知識バックボーンとして広く利用されている。 テキストのみの事前学習によって符号化される聴覚知識の量と、それが下流のパフォーマンスに与える影響について検討する。 その結果,家族間で聴覚知識が大きく異なり,テキストのみの結果が音響性能と強く相関していることが判明した。
  論文  参考訳（メタデータ） (2026-03-19T17:50:07Z)
• DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding [58.29124051111574]
  一般音声理解のための実用的な拡散型LALMであるDIFFA-2を紹介する。 DIFFA-2は音声エンコーダをアップグレードし、デュアルセマンティックとアコースティックのアダプタを採用し、4段階のカリキュラムで訓練されている。 MMSU、MMAU、MMARの実験では、DIFFA-2はDIFFAよりも一貫して改善されている。
  論文  参考訳（メタデータ） (2026-01-30T16:44:23Z)
• USAD: Universal Speech and Audio Representation via Distillation [56.91647396619358]
  Universal Speech and Audio Distillation (USAD)は、音声表現学習における統一的なアプローチである。 USADは音声、音声、音楽の様々なタイプを単一のモデルに統合する。
  論文  参考訳（メタデータ） (2025-06-23T17:02:00Z)
• Music Genre Classification using Large Language Models [50.750620612351284]
  本稿では,音楽ジャンル分類のための事前学習された大規模言語モデル(LLM)のゼロショット機能を利用する。 提案手法は、音声信号を20ミリ秒のチャンクに分割し、畳み込み特徴エンコーダで処理する。 推論中、個々のチャンクの予測は最終ジャンル分類のために集約される。
  論文  参考訳（メタデータ） (2024-10-10T19:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。