論文の概要: Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems

• arxiv url: http://arxiv.org/abs/2309.12134v1
• Date: Thu, 21 Sep 2023 14:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 14:49:00.391262
• Title: Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems
• Title（参考訳）: 頑健なオーディオシート音楽検索システムのための自己教師付きコントラスト学習
• Authors: Luis Carvalho, Tobias Wash\"uttl and Gerhard Widmer
• Abstract要約: 自己指導型コントラスト学習は、実際の音楽コンテンツからの注釈付きデータの不足を軽減することができることを示す。 クロスモーダルなピース識別の高レベルなタスクにスニペットを埋め込む。 本研究では,実際の音楽データが存在する場合,検索品質が30%から100%に向上することが観察された。
• 参考スコア（独自算出の注目度）: 3.997809845676912
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linking sheet music images to audio recordings remains a key problem for the development of efficient cross-modal music retrieval systems. One of the fundamental approaches toward this task is to learn a cross-modal embedding space via deep neural networks that is able to connect short snippets of audio and sheet music. However, the scarcity of annotated data from real musical content affects the capability of such methods to generalize to real retrieval scenarios. In this work, we investigate whether we can mitigate this limitation with self-supervised contrastive learning, by exposing a network to a large amount of real music data as a pre-training step, by contrasting randomly augmented views of snippets of both modalities, namely audio and sheet images. Through a number of experiments on synthetic and real piano data, we show that pre-trained models are able to retrieve snippets with better precision in all scenarios and pre-training configurations. Encouraged by these results, we employ the snippet embeddings in the higher-level task of cross-modal piece identification and conduct more experiments on several retrieval configurations. In this task, we observe that the retrieval quality improves from 30% up to 100% when real music data is present. We then conclude by arguing for the potential of self-supervised contrastive learning for alleviating the annotated data scarcity in multi-modal music retrieval models.
• Abstract（参考訳）: 効率的なクロスモーダル音楽検索システムの開発において,楽譜画像と音声記録のリンクは重要な課題である。 このタスクに対する基本的なアプローチの1つは、オーディオと楽譜の短いスニペットを接続できるディープニューラルネットワークを通じて、クロスモーダルな埋め込み空間を学習することである。 しかし、実際の音楽コンテンツからの注釈付きデータの不足は、そのような手法が実際の検索シナリオに一般化する能力に影響を及ぼす。 本研究では,事前学習段階として大量の実曲データにネットワークを露出させることにより,自己教師付きコントラスト学習でこの制限を緩和できるかどうかを,音声と楽譜画像の両方のスニペットのランダムに拡張されたビューと対比して検討する。 合成および実ピアノデータに関する多くの実験を通して、事前学習されたモデルが、全てのシナリオや事前学習構成においてより正確なスニペットを抽出できることが示されている。 これらの結果から,クロスモーダルなピース識別の高レベルなタスクにスニペットを埋め込んで,複数の検索構成に関するさらなる実験を行う。 本研究では,実際の音楽データが存在する場合,検索品質が30%から100%向上することを確認した。 そして,マルチモーダル音楽検索モデルにおける注釈データ不足軽減のための自己教師付きコントラスト学習の可能性について考察した。

関連論文リスト

• An Experimental Comparison Of Multi-view Self-supervised Methods For Music Tagging [6.363158395541767]
  自己教師付き学習は、大量のラベルのないデータに基づいて、一般化可能な機械学習モデルを事前訓練するための強力な方法として登場した。 本研究では,音楽タギングのための新たな自己指導手法の性能について検討し,比較する。
  論文  参考訳（メタデータ） (2024-04-14T07:56:08Z)
• Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval [4.722882736419499]
  クロスモーダル音楽検索は、シート音楽画像とオーディオ録音を接続することができる。 そこで本研究では,音声と楽譜の長いパスを要約するために,共同埋め込みを学習するクロスモーダル・リカレント・ネットワークを提案する。 合成および実ピアノデータとスコアについて多数の実験を行い、提案手法が全ての可能な構成においてより正確な検索につながることを示す。
  論文  参考訳（メタデータ） (2023-09-21T14:30:02Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models [2.569647910019739]
  この研究は、MIDIデータに基づいて、リカレントニューラルネットワーク音楽作曲家の敵対的および非敵対的な訓練を実装し、比較する。 この評価は, 対人訓練がより審美的に楽しむ音楽を生み出すことを示唆している。
  論文  参考訳（メタデータ） (2022-11-01T20:23:49Z)
• Supervised and Unsupervised Learning of Audio Representations for Music Understanding [9.239657838690226]
  トレーニング済みデータセットのドメインが、ダウンストリームタスクに対するオーディオ埋め込みの結果の妥当性にどのように影響するかを示す。 大規模専門家による注釈付き音楽データセットの教師あり学習により訓練されたモデルが,最先端のパフォーマンスを実現することを示す。
  論文  参考訳（メタデータ） (2022-10-07T20:07:35Z)
• Learning music audio representations via weak language supervision [14.335950077921435]
  我々は,一連のプロキシタスクによって最適化された音楽と言語事前学習(MuLaP)のためのマルチモーダルアーキテクチャを設計する。 弱い監督は、トラックの全体的な音楽内容を伝える、騒々しい自然言語記述の形で提供される。 提案手法の有効性を,同一のオーディオバックボーンが生成する音声表現の性能と,異なる学習戦略とを比較して示す。
  論文  参考訳（メタデータ） (2021-12-08T10:30:52Z)
• Fast accuracy estimation of deep learning based multi-class musical source separation [79.10962538141445]
  本稿では,ニューラルネットワークのトレーニングやチューニングを行うことなく,任意のデータセットにおける楽器の分離性を評価する手法を提案する。 理想的な比マスクを持つオラクルの原理に基づいて、我々の手法は最先端のディープラーニング手法の分離性能を推定するための優れたプロキシである。
  論文  参考訳（メタデータ） (2020-10-19T13:05:08Z)
• dMelodies: A Music Dataset for Disentanglement Learning [70.90415511736089]
  我々は、研究者が様々な領域でアルゴリズムの有効性を実証するのに役立つ新しいシンボリック・ミュージック・データセットを提案する。 これはまた、音楽用に特別に設計されたアルゴリズムを評価する手段を提供する。 データセットは、遠絡学習のためのディープネットワークのトレーニングとテストに十分な大きさ(約13万データポイント)である。
  論文  参考訳（メタデータ） (2020-07-29T19:20:07Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Semantic Object Prediction and Spatial Sound Super-Resolution with Binaural Sounds [106.87299276189458]
  人間は視覚的および聴覚的手がかりを統合することで、オブジェクトを強く認識し、ローカライズすることができる。 この研究は、純粋に音に基づく、音生成対象の密接なセマンティックラベリングのためのアプローチを開発する。
  論文  参考訳（メタデータ） (2020-03-09T15:49:01Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。