論文の概要: WikiMuTe: A web-sourced dataset of semantic descriptions for music audio

• arxiv url: http://arxiv.org/abs/2312.09207v1
• Date: Thu, 14 Dec 2023 18:38:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-15 20:41:13.747423
• Title: WikiMuTe: A web-sourced dataset of semantic descriptions for music audio
• Title（参考訳）: WikiMuTe:音楽オーディオのセマンティック記述のWebソースデータセット
• Authors: Benno Weck, Holger Kirchhoff, Peter Grosche and Xavier Serra
• Abstract要約: 音楽の豊かな意味記述を含む新しいオープンデータセットWikiMuTeを提案する。 このデータはウィキペディアの豊富な楽曲に関する記事のカタログから得られたものである。 我々は、テキストと音声の表現を共同で学習し、モーダル検索を行うモデルを訓練する。
• 参考スコア（独自算出の注目度）: 7.4327407361824935
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal deep learning techniques for matching free-form text with music have shown promising results in the field of Music Information Retrieval (MIR). Prior work is often based on large proprietary data while publicly available datasets are few and small in size. In this study, we present WikiMuTe, a new and open dataset containing rich semantic descriptions of music. The data is sourced from Wikipedia's rich catalogue of articles covering musical works. Using a dedicated text-mining pipeline, we extract both long and short-form descriptions covering a wide range of topics related to music content such as genre, style, mood, instrumentation, and tempo. To show the use of this data, we train a model that jointly learns text and audio representations and performs cross-modal retrieval. The model is evaluated on two tasks: tag-based music retrieval and music auto-tagging. The results show that while our approach has state-of-the-art performance on multiple tasks, but still observe a difference in performance depending on the data used for training.
• Abstract（参考訳）: 音楽情報検索(MIR)分野において,音楽と自由形式のテキストをマッチングするためのマルチモーダル深層学習技術が有望な成果を示した。 以前の作業は多くの場合、大規模なプロプライエタリなデータに基づいており、公開データセットは少なくて小さい。 本研究では,音楽の豊かな意味記述を含む新しいオープンデータセットWikiMuTeを提案する。 データは、音楽作品を扱うウィキペディアの豊富なカタログから引用されている。 専用のテキストマイニングパイプラインを用いて,ジャンル,スタイル,ムード,インスツルメンテーション,テンポなど,音楽コンテンツに関する幅広い話題をカバーする長文と短文の双方を抽出した。 このデータの使い方を示すために,テキストと音声の表現を共同で学習し,クロスモーダル検索を行うモデルを訓練する。 このモデルはタグベースの音楽検索と自動タグ付けの2つのタスクで評価される。 その結果,我々のアプローチは複数のタスクにおいて最先端のパフォーマンスを持つが,トレーニングに使用するデータによっては性能の差を観測できることがわかった。

関連論文リスト

• Enriching Music Descriptions with a Finetuned-LLM and Metadata for Text-to-Music Retrieval [7.7464988473650935]
  Text-to-Music Retrievalは、広範な音楽データベース内のコンテンツ発見において重要な役割を担っている。 本稿では,TTMR++と呼ばれる改良されたテキスト・音楽検索モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-04T09:33:34Z)
• LARP: Language Audio Relational Pre-training for Cold-Start Playlist Continuation [49.89372182441713]
  マルチモーダルコールドスタートプレイリスト継続モデルであるLARPを導入する。 我々のフレームワークはタスク固有の抽象化の段階を増大させており、イントラトラック(音声)コントラスト損失、トラックトラックコントラスト損失、トラックプレイリストコントラスト損失である。
  論文  参考訳（メタデータ） (2024-06-20T14:02:15Z)
• MOSA: Music Motion with Semantic Annotation Dataset for Cross-Modal Music Processing [3.3162176082220975]
  高品質な3次元モーションキャプチャーデータ、アライメント音声記録、ピッチ、ビート、フレーズ、動的、調音、ハーモニーを含むMOSA(Music mOtion with Semantic )データセットを23人のプロミュージシャンによる742のプロ音楽演奏に対して提示する。 私たちの知る限り、これはこれまでのノートレベルのアノテーションを備えた、最大のクロスモーダルな音楽データセットです。
  論文  参考訳（メタデータ） (2024-06-10T15:37:46Z)
• MidiCaps: A large-scale MIDI dataset with text captions [6.806050368211496]
  本研究の目的は,LLMとシンボリック音楽を組み合わせることで,テキストキャプションを付加した最初の大規模MIDIデータセットを提示することである。 近年のキャプション技術の発展に触発されて,テキスト記述付き168kのMIDIファイルをキュレートしたデータセットを提示する。
  論文  参考訳（メタデータ） (2024-06-04T12:21:55Z)
• Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems [3.997809845676912]
  自己指導型コントラスト学習は、実際の音楽コンテンツからの注釈付きデータの不足を軽減することができることを示す。 クロスモーダルなピース識別の高レベルなタスクにスニペットを埋め込む。 本研究では,実際の音楽データが存在する場合,検索品質が30%から100%に向上することが観察された。
  論文  参考訳（メタデータ） (2023-09-21T14:54:48Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
  我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。 音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。 次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
  論文  参考訳（メタデータ） (2023-06-18T12:56:46Z)
• A Dataset for Greek Traditional and Folk Music: Lyra [69.07390994897443]
  本稿では,80時間程度で要約された1570曲を含むギリシャの伝統音楽と民俗音楽のデータセットについて述べる。 このデータセットにはYouTubeのタイムスタンプ付きリンクが組み込まれており、オーディオやビデオの検索や、インスツルメンテーション、地理、ジャンルに関する豊富なメタデータ情報が含まれている。
  論文  参考訳（メタデータ） (2022-11-21T14:15:43Z)
• MATT: A Multiple-instance Attention Mechanism for Long-tail Music Genre Classification [1.8275108630751844]
  不均衡音楽ジャンル分類は音楽情報検索(MIR)分野において重要な課題である。 既存のモデルのほとんどは、クラスバランスの音楽データセット用に設計されている。 末尾クラスを特定するために,MATT(Multi-Instance Attention)と呼ばれる新しいメカニズムを提案する。
  論文  参考訳（メタデータ） (2022-09-09T03:52:44Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。