論文の概要: MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training

• arxiv url: http://arxiv.org/abs/2306.00107v2
• Date: Tue, 6 Jun 2023 14:06:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-07 19:29:12.336212
• Title: MERT: Acoustic Music Understanding Model with Large-Scale Self-supervised Training
• Title（参考訳）: MERT:大規模自己指導型音響音楽理解モデル
• Authors: Yizhi Li, Ruibin Yuan, Ge Zhang, Yinghao Ma, Xingran Chen, Hanzhi Yin, Chenghua Lin, Anton Ragni, Emmanouil Benetos, Norbert Gyenge, Roger Dannenberg, Ruibo Liu, Wenhu Chen, Gus Xia, Yemin Shi, Wenhao Huang, Yike Guo, Jie Fu
• Abstract要約: 大規模自己教師型訓練(MERT)を用いた音響音楽非定常モデルを提案する。 教師モデルの優れた組み合わせを同定し、従来の音声・音声の手法よりも性能的に優れていることを示す。 本モデルでは,14の楽曲理解タスクを一般化し,パフォーマンスを向上し,SOTA(State-of-the-art)全体のスコアを達成できる。
• 参考スコア（独自算出の注目度）: 60.93528635585468
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Self-supervised learning (SSL) has recently emerged as a promising paradigm for training generalisable models on large-scale data in the fields of vision, text, and speech. Although SSL has been proven effective in speech and audio, its application to music audio has yet to be thoroughly explored. This is primarily due to the distinctive challenges associated with modelling musical knowledge, particularly its tonal and pitched characteristics of music. To address this research gap, we propose an acoustic Music undERstanding model with large-scale self-supervised Training (MERT), which incorporates teacher models to provide pseudo labels in the masked language modelling (MLM) style acoustic pre-training. In our exploration, we identified a superior combination of teacher models, which outperforms conventional speech and audio approaches in terms of performance. This combination includes an acoustic teacher based on Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE) and a musical teacher based on the Constant-Q Transform (CQT). These teachers effectively guide our student model, a BERT-style transformer encoder, to better model music audio. In addition, we introduce an in-batch noise mixture augmentation to enhance the representation robustness. Furthermore, we explore a wide range of settings to overcome the instability in acoustic language model pre-training, which allows our designed paradigm to scale from 95M to 330M parameters. Experimental results indicate that our model can generalise and perform well on 14 music understanding tasks and attains state-of-the-art (SOTA) overall scores. The code and models are online: https://github.com/yizhilll/MERT.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、視覚、テキスト、音声の分野における大規模データに対する一般的なモデルをトレーニングするための有望なパラダイムとして最近登場した。 SSLは音声と音声で有効であることが証明されているが、音楽オーディオへの応用はまだ十分に検討されていない。 これは主に音楽の知識をモデル化すること、特に音楽の調律的特徴とピッチングされた特徴が原因である。 本研究のギャップに対処するために,教師モデルを取り入れた大規模自己教師訓練(mert)を用いた音響音楽理解モデルを提案する。 本研究では,従来の音声と音声のアプローチを性能面で上回る教師モデルの優れた組み合わせを見出した。 この組み合わせには、Residual Vector Quantization - Variational AutoEncoder (RVQ-VAE)に基づく音響教師と、Constant-Q Transform (CQT)に基づく音楽教師が含まれる。 これらの教師は、私たちの学生モデルであるBERTスタイルのトランスフォーマーエンコーダを効果的にガイドし、より良い音楽オーディオをモデル化します。 さらに,表現の堅牢性を高めるために,バッチ内雑音混在拡張を導入する。 さらに,アコースティック言語モデルの事前学習における不安定性を克服し,設計パラダイムを95万から330万のパラメータに拡張可能にするため,幅広い設定を検討する。 実験結果から,本モデルでは14の楽曲理解タスクを一般化し,高いパフォーマンスを達成できることが示唆された。 コードとモデルはオンラインである。 https://github.com/yizhilll/MERT。

関連論文リスト

• Self-Supervised Models of Speech Infer Universal Articulatory Kinematics [44.27187669492598]
  SSLモデルの基本特性として「調音キネマティクスの推論」を示す。 また、この抽象化は、モデルをトレーニングするために使用されるデータの言語に大きく重なり合っていることも示しています。 簡単なアフィン変換では、アコースティック・トゥ・アコースティック・トゥ・アーティキュレーション・インバージョン(AAI)は、性別、言語、方言でさえ話者間で変換可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-16T19:50:01Z)
• On the Effectiveness of Speech Self-supervised Learning for Music [45.43336822496942]
  自己ソース学習(SSL)は、様々な音声および自然言語処理アプリケーションで有望な結果を示している。 本稿では,2つの特徴ある音声関連モデルである data2vec1.0 と Hubert を用いて,SSL の音楽適応について検討する。 この結果から,音楽データを用いた学習は,モデルが音声のためのパラダイムを用いて訓練された場合でも,一般的にMIRタスクの性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2023-07-11T10:37:57Z)
• BEATs: Audio Pre-Training with Acoustic Tokenizers [77.8510930885778]
  自己教師付き学習(SSL)は、ここ数年、言語、ビジョン、スピーチ、オーディオドメインで目撃されてきた。 本稿では、音声変換器から双方向表現を学習するための反復型オーディオ事前学習フレームワークBEATを提案する。 最初のイテレーションでは、ランダムプロジェクションを音響トークンとして使用し、マスクとラベル予測の方法でオーディオSSLモデルをトレーニングする。 そこで,本研究では,事前学習あるいは微調整した音声SSLモデルから意味知識を抽出することにより,次のイテレーションのための音響トークン化装置を訓練する。
  論文  参考訳（メタデータ） (2022-12-18T10:41:55Z)
• Contrastive Audio-Visual Masked Autoencoder [85.53776628515561]
  CAV-MAE(Contrastive Audio-Visual Masked Auto-Encoder) 我々の完全自己指導型CAV-MAEは、VGGSoundで65.9%の新しいSOTA精度を実現する。
  論文  参考訳（メタデータ） (2022-10-02T07:29:57Z)
• Learning music audio representations via weak language supervision [14.335950077921435]
  我々は,一連のプロキシタスクによって最適化された音楽と言語事前学習(MuLaP)のためのマルチモーダルアーキテクチャを設計する。 弱い監督は、トラックの全体的な音楽内容を伝える、騒々しい自然言語記述の形で提供される。 提案手法の有効性を,同一のオーディオバックボーンが生成する音声表現の性能と,異なる学習戦略とを比較して示す。
  論文  参考訳（メタデータ） (2021-12-08T10:30:52Z)
• Contrastive Learning of General-Purpose Audio Representations [33.15189569532155]
  音声の汎用表現を学習するための自己教師付き事前学習手法であるCOLAを紹介する。 我々は、コンピュータビジョンと強化学習のコントラスト学習の最近の進歩に基づいて、軽量で実装が容易なオーディオモデルを設計する。
  論文  参考訳（メタデータ） (2020-10-21T11:56:22Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)
• Curriculum Audiovisual Learning [113.20920928789867]
  本稿では,ソフトクラスタリングモジュールを音響・視覚コンテンツ検出装置として導入するフレキシブル・オーディオビジュアル・モデルを提案する。 音声視覚学習の難しさを軽減するため,簡単なシーンから複雑なシーンまでモデルを訓練する新しい学習戦略を提案する。 本手法は,外的視覚的監督に言及することなく,音の分離において同等の性能を示す。
  論文  参考訳（メタデータ） (2020-01-26T07:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。