論文の概要: NOTA: Multimodal Music Notation Understanding for Visual Large Language Model

• arxiv url: http://arxiv.org/abs/2502.14893v1
• Date: Mon, 17 Feb 2025 16:39:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:29.952327
• Title: NOTA: Multimodal Music Notation Understanding for Visual Large Language Model
• Title（参考訳）: NOTA:視覚的大言語モデルのためのマルチモーダル音楽表記法
• Authors: Mingni Tang, Jiajia Li, Lu Yang, Zhiqiang Zhang, Jinghao Tian, Zuchao Li, Lefei Zhang, Ping Wang,
• Abstract要約: 大規模な総合マルチモーダル音楽表記データセットであるNOTAを提案する。 世界の3つの地域からの1,019,237のレコードで構成され、3つのタスクを含んでいる。 このデータセットに基づいて,音楽表記の視覚的大言語モデルであるNotaGPTを訓練した。
• 参考スコア（独自算出の注目度）: 38.26693446133213
• License:
• Abstract: Symbolic music is represented in two distinct forms: two-dimensional, visually intuitive score images, and one-dimensional, standardized text annotation sequences. While large language models have shown extraordinary potential in music, current research has primarily focused on unimodal symbol sequence text. Existing general-domain visual language models still lack the ability of music notation understanding. Recognizing this gap, we propose NOTA, the first large-scale comprehensive multimodal music notation dataset. It consists of 1,019,237 records, from 3 regions of the world, and contains 3 tasks. Based on the dataset, we trained NotaGPT, a music notation visual large language model. Specifically, we involve a pre-alignment training phase for cross-modal alignment between the musical notes depicted in music score images and their textual representation in ABC notation. Subsequent training phases focus on foundational music information extraction, followed by training on music notation analysis. Experimental results demonstrate that our NotaGPT-7B achieves significant improvement on music understanding, showcasing the effectiveness of NOTA and the training pipeline. Our datasets are open-sourced at https://huggingface.co/datasets/MYTH-Lab/NOTA-dataset.
• Abstract（参考訳）: シンボリック・ミュージックは2次元、視覚的に直感的なスコア・イメージと1次元の標準化されたテキスト・アノテーション・シーケンスという2つの異なる形式で表現される。 大規模言語モデルは音楽に極めて有意な可能性を示してきたが、現在の研究は主に一助の記号列のテキストに焦点を当てている。 既存の汎用ビジュアル言語モデルには、音楽表記の理解能力が欠けている。 このギャップを認識したNOTAは,世界初の大規模総合マルチモーダル音楽表記データセットである。 世界の3つの地域からの1,019,237のレコードで構成され、3つのタスクを含んでいる。 このデータセットに基づいて,音楽表記の視覚的大言語モデルであるNotaGPTを訓練した。 具体的には、譜面画像に表される音符と、ABC表記におけるそれらのテキスト表現との間には、モーダルなアライメントのための事前調整訓練フェーズが組み込まれている。 その後の学習段階は基礎音楽情報抽出に焦点が当てられ、続いて音楽表記分析の訓練が行われる。 実験の結果,NotaGPT-7Bは,NOTAとトレーニングパイプラインの有効性を示す音楽理解の大幅な向上を実現していることがわかった。 私たちのデータセットはhttps://huggingface.co/datasets/MYTH-Lab/NOTA-datasetでオープンソース化されています。

関連論文リスト

• Toward a More Complete OMR Solution [49.74172035862698]
  光音楽認識は、音楽の表記をデジタル形式に変換することを目的としている。 OMRに取り組む1つのアプローチは、画像内の視覚音楽の表記要素を最初に検出するマルチステージパイプラインである。 YOLOv8に基づく音楽オブジェクト検出器を導入し,検出性能を向上する。 第2に、検出出力に基づいて記法組立段階を完了する教師付きトレーニングパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-08-31T01:09:12Z)
• Cluster and Separate: a GNN Approach to Voice and Staff Prediction for Score Engraving [5.572472212662453]
  本稿では,音符を量子化された記号楽曲(例えばMIDIファイル)から複数の音声とステーブに分離する問題にアプローチする。 本稿では,同じ和音に属する音符を音声の一部であればエッジで接続する,グラフニューラルネットワークに基づくエンドツーエンドシステムを提案する。
  論文  参考訳（メタデータ） (2024-07-15T14:36:13Z)
• WikiMuTe: A web-sourced dataset of semantic descriptions for music audio [7.4327407361824935]
  音楽の豊かな意味記述を含む新しいオープンデータセットWikiMuTeを提案する。 このデータはウィキペディアの豊富な楽曲に関する記事のカタログから得られたものである。 我々は、テキストと音声の表現を共同で学習し、モーダル検索を行うモデルを訓練する。
  論文  参考訳（メタデータ） (2023-12-14T18:38:02Z)
• N-Gram Unsupervised Compoundation and Feature Injection for Better Symbolic Music Understanding [27.554853901252084]
  音楽系列は隣接要素間の強い相関関係を示し、自然言語処理(NLP)によるN-gram技術の主要な候補となる。 本稿では,N-gramアプローチを利用したシンボリック・ミュージック・シーケンス理解のための新しい手法NG-Midiformerを提案する。
  論文  参考訳（メタデータ） (2023-12-13T06:08:37Z)
• Exploring the Efficacy of Pre-trained Checkpoints in Text-to-Music Generation Task [86.72661027591394]
  テキスト記述から完全で意味論的に一貫したシンボリック音楽の楽譜を生成する。 テキスト・音楽生成タスクにおける自然言語処理のための公開チェックポイントの有効性について検討する。 実験結果から, BLEUスコアと編集距離の類似性において, 事前学習によるチェックポイントの使用による改善が統計的に有意であることが示唆された。
  論文  参考訳（メタデータ） (2022-11-21T07:19:17Z)
• MusicBERT: Symbolic Music Understanding with Large-Scale Pre-Training [97.91071692716406]
  シンボリック・ミュージックの理解(シンボリック・ミュージックの理解)とは、シンボリック・データから音楽を理解することを指す。 MusicBERTは、音楽理解のための大規模な事前訓練モデルである。
  論文  参考訳（メタデータ） (2021-06-10T10:13:05Z)
• Music Gesture for Visual Sound Separation [121.36275456396075]
  ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。 まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
  論文  参考訳（メタデータ） (2020-04-20T17:53:46Z)
• Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis [91.3755431537592]
  この論文は、音声分析とコンピュータビジョンを組み合わせて、マルチモーダルの観点から音楽情報検索(MIR)タスクにアプローチする。 本研究の主な仮説は、ジャンルやテーマなど特定の表現的カテゴリーを視覚的内容のみに基づいて認識できるという観察に基づいている。 実験は、3つのMIRタスクに対して行われ、アーティスト識別、音楽ジェネア分類、クロスジェネア分類を行う。
  論文  参考訳（メタデータ） (2020-02-01T17:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。