論文の概要: MuSViT: A Foundation Vision Model for Sheet Music Representation
- arxiv url: http://arxiv.org/abs/2606.31811v1
- Date: Tue, 30 Jun 2026 15:27:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.28359
- Title: MuSViT: A Foundation Vision Model for Sheet Music Representation
- Title（参考訳）: MuSViT:楽譜表現の基礎的ビジョンモデル
- Abstract要約: 楽譜表現のための基礎的視覚モデル MuSViT (Music Score Vision Transformer) を紹介する。
MuSViT は IMSLP から970万ページの Masked Autoencoders で事前訓練された ViT エンコーダである。
我々は、フルページおよびスタッフレベルの音楽スコア認識、音楽記号検出、得点難度分類の4つの下流タスクでMuSViTを評価する。
- 参考スコア（独自算出の注目度）: 9.770871275902708
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Foundation models have transformed vision and language processing by providing rich, reusable representations that transfer across diverse tasks. Sheet music, as a visual encoding of musical language, lacks such a strong domain-specific backbone. We introduce MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP. To handle the complexity of real-world scores, we adopt a two-stage curriculum: a synthetic warm-up on typeset scores followed by large-scale training on the full IMSLP corpus. We evaluate MuSViT on four downstream tasks -- full-page and staff-level music score recognition, music symbol detection, and score difficulty classification -- under two scenarios: linear probing (frozen encoder) and fine-tuning. Under linear probing, MuSViT consistently outperforms modern vision encoders, revealing that general-purpose representations, regardless of scale, fall systematically short on the structured symbolic properties of musical notation. Under fine-tuning, MuSViT generally improves upon task-specific state-of-the-art methods. An additional embedding-transcription consistency analysis reveals that MuSViT encodes symbolic musical structure directly in its representation space -- unlike other encoders, whose embeddings do not correlate with music notation content. These results establish MuSViT as a foundation backbone for sheet music understanding.
- Abstract（参考訳）: ファンデーションモデルは、様々なタスクにまたがるリッチで再利用可能な表現を提供することで、ビジョンと言語処理を変革した。
楽譜は、音楽言語の視覚的エンコーディングとして、そのような強力なドメイン固有のバックボーンを欠いている。
In this introduced MuSViT (Music Score Vision Transformer): the first foundation vision model for sheet music representation -- a ViT encoder pre-trained via Masked Autoencoders on 9.7 million pages from the IMSLP。
実世界のスコアの複雑さに対処するため,タイプセットスコアの合成ウォームアップとIMSLPコーパス全体の大規模トレーニングという2段階のカリキュラムを採用した。
我々は, 線形探索(凍結エンコーダ)と微調整(微調整)の2つのシナリオにおいて, フルページおよびスタッフレベルの音楽スコア認識, 音楽記号検出, 楽譜難易度分類の4つの下流タスクでMusViTを評価する。
線形探索の下では、MuSViTは現代の視覚エンコーダより一貫して優れており、スケールに関係なく、汎用表現は、音楽表記の構造化された記号的特性に体系的に不足することを明らかにする。
微調整では、MuSViTは一般的にタスク固有の最先端のメソッドを改善する。
MuSViTは、他のエンコーダとは異なり、記号的な音楽構造をその表現空間に直接エンコードしている。
これらの結果から,MuSViTは楽譜理解の基礎となるバックボーンとして確立された。
関連論文リスト
- MIDI-RAE-JEPA: Hierarchical Representation Learning and Generation for Symbolic Music [1.218340575383456]
我々は,LJEPAとSwin Transformer V2エンコーダを組み合わせたMIDI-RAE-JEPAを提案する。
ピアノロール画像として符号化された記号音楽のこのような階層的表現を学習する。
その結果, 等価性に基づくSSL目標と十分な微細エンコーダ容量が組み合わさって, 意味的に豊かで, 生成的に有用な記号音楽表現への実現可能な道筋が示唆された。
論文 参考訳（メタデータ） (2026-07-16T03:42:35Z) - LEGATO 2: Toward Multimodal Sheet Music Recognition and Understanding [45.71641492661869]
Legato 2は、楽譜の画像から記号表記と意味知識を抽出するパイプラインである。
システムごとに順次動作する光学音楽認識(OMR)のための最初の大規模ニューラルモデルを備えている。
また、埋め込みテキストコンテンツを含む記号転写を生成することができる最初のOMRモデルでもある。
論文 参考訳（メタデータ） (2026-07-07T02:47:13Z) - FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。
この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。
本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
論文 参考訳（メタデータ） (2026-06-04T18:05:39Z) - Art2Music: Generating Music for Art Images with Multi-modal Feeling Alignment [2.6505592523846495]
ArtiCapsは、ArtEmisとMusicCapsのセマンティックな記述をマッチングして作成した、擬似的な感覚整列画像テキストデータセットである。
Art2Musicは、アートイメージとユーザコメントから音楽を合成する軽量なクロスモーダルフレームワークである。
ArtiCapsの実験では、メルケプストラム歪み、フレシェ・オーディオ・ディスタンス、ログスペクトル・ディスタンス、コサイン類似性が明らかに改善されている。
論文 参考訳（メタデータ） (2025-11-27T21:05:53Z) - Discovering "Words" in Music: Unsupervised Learning of Compositional Sparse Code for Symbolic Music [50.87225308217594]
本稿では,記号的音楽データから「音楽単語」と呼ばれる繰り返しパターンを識別する教師なし機械学習アルゴリズムを提案する。
本稿では,音楽単語発見の課題を統計的最適化問題として定式化し,二段階予測最大化(EM)に基づく学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-29T11:10:57Z) - Towards an AI Musician: Synthesizing Sheet Music Problems for Musical Reasoning [69.78158549955384]
本稿では,ビートやインターバルをプログラム関数として扱うような,コア音楽理論のルールを扱う新しいアプローチを提案する。
このアプローチは、テキストと視覚の両方で検証可能な楽譜の質問を生成する。
SSMR-Benchの評価結果は,楽譜の解釈における重要な役割を浮き彫りにした。
論文 参考訳（メタデータ） (2025-09-04T09:42:17Z) - Exploring Classical Piano Performance Generation with Expressive Music Variational AutoEncoder [15.668253435545921]
本稿では,作曲家とピアニストの二重的役割をエミュレートすることを目的とした,クラシックピアノの演奏をゼロから創り出すという課題に対処する。
本稿では,古典演奏の韻律的構造と表現的ニュアンスの両方を効果的に捉えた表現的複合語表現を提案する。
本稿では,楽譜関連コンテンツを生成するベクトル量子変分オートエンコーダ(VQ-VAE)ブランチと,表現的詳細を生成するバニラVAEブランチという,ピアノ奏者の役割を果たす2つのブランチを特徴とするモデルであるExpressive Music Variational AutoEncoder(XMVAE)を提案する。
論文 参考訳（メタデータ） (2025-07-02T10:54:23Z) - NOTA: Multimodal Music Notation Understanding for Visual Large Language Model [38.26693446133213]
大規模な総合マルチモーダル音楽表記データセットであるNOTAを提案する。
世界の3つの地域からの1,019,237のレコードで構成され、3つのタスクを含んでいる。
このデータセットに基づいて,音楽表記の視覚的大言語モデルであるNotaGPTを訓練した。
論文 参考訳（メタデータ） (2025-02-17T16:39:19Z) - MuPT: A Generative Symbolic Music Pretrained Transformer [56.09299510129221]
音楽の事前学習におけるLarge Language Models (LLM) の適用について検討する。
生成過程の異なるトラックからの不整合対策に関連する課題に対処するために,SMT-ABC Notation(Synchronized Multi-Track ABC Notation)を提案する。
私たちのコントリビューションには、最大8192個のトークンを処理可能な一連のモデルが含まれており、トレーニングセットの象徴的な音楽データの90%をカバーしています。
論文 参考訳（メタデータ） (2024-04-09T15:35:52Z) - Tr\"aumerAI: Dreaming Music with StyleGAN [2.578242050187029]
本稿では, ディープ・ミュージックの埋め込みをスタイルGANの埋め込みに直接マッピングするニューラル・ミュージック・ビジュアライザーを提案する。
アノテータは10秒の100曲のクリップを聴き、StyleGANが生成した例の中で音楽に合ったイメージを選択した。
生成した例は、音声と映像のマッピングが、あるレベルのセグメント内類似性とセグメント間異同を生じさせることを示している。
論文 参考訳（メタデータ） (2021-02-09T07:04:22Z) - Music Gesture for Visual Sound Separation [121.36275456396075]
ミュージック・ジェスチャ(Music Gesture)は、音楽演奏時の演奏者の身体と指の動きを明示的にモデル化するキーポイントに基づく構造化表現である。
まず、コンテキスト対応グラフネットワークを用いて、視覚的コンテキストと身体力学を統合し、その後、身体の動きと対応する音声信号とを関連付けるために、音声-視覚融合モデルを適用する。
論文 参考訳（メタデータ） (2020-04-20T17:53:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。