Fugu-MT 論文翻訳(概要): End-to-End Full-Page Optical Music Recognition for Pianoform Sheet Music

論文の概要: End-to-End Full-Page Optical Music Recognition for Pianoform Sheet Music

arxiv url: http://arxiv.org/abs/2405.12105v3
Date: Sat, 21 Sep 2024 15:18:58 GMT
ステータス: 処理完了
システム内更新日: 2024-11-09 02:30:11.192280
Title: End-to-End Full-Page Optical Music Recognition for Pianoform Sheet Music
Title（参考訳）: ピアノ楽譜におけるエンド・ツー・エンドフルページ光音楽認識
Authors: Antonio Ríos-Vila, Jorge Calvo-Zaragoza, David Rizo, Thierry Paquet,
Abstract要約: 我々は、ページレベルの光音楽認識のための、真にエンドツーエンドなアプローチを初めて提示する。本システムでは,音楽スコアページ全体を処理し,完全書き起こしを楽曲エンコーディング形式で出力する。その結果,本システムは,全ページの楽譜の書き起こしに成功しただけでなく,ゼロショット設定とターゲットドメインとの微調整の両面において,商業ツールよりも優れていた。
参考スコア（独自算出の注目度）: 12.779526750915707
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Optical Music Recognition (OMR) has made significant progress since its inception, with various approaches now capable of accurately transcribing music scores into digital formats. Despite these advancements, most so-called \emph{end-to-end} OMR approaches still rely on multi-stage processing pipelines for transcribing full-page score images, which introduces several limitations that hinder the full potential of the field. In this paper, we present the first truly end-to-end approach for page-level OMR. Our system, which combines convolutional layers with autoregressive Transformers, processes an entire music score page and outputs a complete transcription in a music encoding format. This is made possible by both the architecture and the training procedure, which utilizes curriculum learning through incremental synthetic data generation. We evaluate the proposed system using pianoform corpora. This evaluation is conducted first in a controlled scenario with synthetic data, and subsequently against two real-world corpora of varying conditions. Our approach is compared with leading commercial OMR software. The results demonstrate that our system not only successfully transcribes full-page music scores but also outperforms the commercial tool in both zero-shot settings and after fine-tuning with the target domain, representing a significant contribution to the field of OMR.
Abstract（参考訳）: 光音楽認識(OMR)は、音楽の楽譜をデジタル形式に正確に書き起こすことができる様々なアプローチによって、開始以来大きな進歩を遂げてきた。これらの進歩にもかかわらず、いわゆる‘emph{end-to-end} OMRアプローチは依然として、全ページのスコア画像の書き起こしにマルチステージ処理パイプラインに依存しており、フィールドの完全なポテンシャルを妨げるいくつかの制限が導入されている。本稿では,ページレベルのOMRに対して,真にエンドツーエンドなアプローチを提案する。本システムでは,畳み込み層と自己回帰変換器を組み合わせることで,楽譜ページ全体を処理し,完全書き起こしを符号化形式で出力する。これは、漸進的な合成データ生成によるカリキュラム学習を利用するアーキテクチャとトレーニング手順の両方によって実現されている。ピアノ形コーパスを用いたシステムの評価を行った。この評価は、まず、合成データを用いて制御されたシナリオで行われ、その後、異なる条件の2つの実世界のコーパスに対して行われる。私たちのアプローチは、主要な商用OMRソフトウェアと比較されます。その結果,本システムは,全ページの楽譜の書き起こしに成功しているだけでなく,ゼロショット設定およびターゲットドメインとの微調整後の商業ツールよりも優れており,OMRの分野への重要な貢献を示していることがわかった。

関連論文リスト

Music Genre Classification using Large Language Models [50.750620612351284]
本稿では,音楽ジャンル分類のための事前学習された大規模言語モデル(LLM)のゼロショット機能を利用する。提案手法は、音声信号を20ミリ秒のチャンクに分割し、畳み込み特徴エンコーダで処理する。推論中、個々のチャンクの予測は最終ジャンル分類のために集約される。
論文参考訳（メタデータ） (2024-10-10T19:17:56Z)
Toward a More Complete OMR Solution [49.74172035862698]
光音楽認識は、音楽の表記をデジタル形式に変換することを目的としている。 OMRに取り組む1つのアプローチは、画像内の視覚音楽の表記要素を最初に検出するマルチステージパイプラインである。 YOLOv8に基づく音楽オブジェクト検出器を導入し,検出性能を向上する。第2に、検出出力に基づいて記法組立段階を完了する教師付きトレーニングパイプラインを導入する。
論文参考訳（メタデータ） (2024-08-31T01:09:12Z)
End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding [4.604877755214193]
既存のピアノA2Sシステムは、合成データのみで訓練され、評価されている。楽譜の階層構造に整合した階層デコーダを用いたシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。本研究では,合成音声上での表現的パフォーマンスレンダリングシステムを用いてモデルを事前学習する2段階学習手法を提案し,続いて人間の演奏記録を用いてモデルを微調整する。
論文参考訳（メタデータ） (2024-05-22T10:52:04Z)
Practical End-to-End Optical Music Recognition for Pianoform Music [3.69298824193862]
私たちはLinearized MusicXMLと呼ばれるシーケンシャルなフォーマットを定義します。我々は,OpenScore Lieder corpus に基づいて MusicXML をベースとしたベンチマーク型セット OMR を作成する。データセットのベースラインとして機能し、TEDnメトリックを使用してモデルを評価するために、エンドツーエンドモデルをトレーニングし、微調整する。
論文参考訳（メタデータ） (2024-03-20T17:26:22Z)
Sheet Music Transformer: End-To-End Optical Music Recognition Beyond Monophonic Transcription [13.960714900433269]
Sheet Music Transformer(シート・ミュージック・トランスフォーマー)は、モノフォニック・ストラテジーのみに頼らずに複雑な楽譜を転写するために設計された最初のエンドツーエンドのOMRモデルである。我々のモデルは2つのポリフォニック音楽データセットでテストされており、これらの複雑な音楽構造を効果的に扱えることが証明されている。
論文参考訳（メタデータ） (2024-02-12T11:52:21Z)
TrOMR:Transformer-Based Polyphonic Optical Music Recognition [26.14383240933706]
本稿では, TrOMR と呼ばれる終端ポリフォニック OMR に対して, 優れた大域的知覚能力を有するトランスフォーマーベースアプローチを提案する。また、複雑な楽譜の認識精度を向上させるために、新しい整合損失関数とデータアノテーションの合理的なアプローチを導入する。
論文参考訳（メタデータ） (2023-08-18T08:06:27Z)
MARBLE: Music Audio Representation Benchmark for Universal Evaluation [79.25065218663458]
我々は,UniversaL Evaluation(MARBLE)のための音楽音響表現ベンチマークを紹介する。音響、パフォーマンス、スコア、ハイレベルな記述を含む4つの階層レベルを持つ包括的分類を定義することで、様々な音楽情報検索(MIR)タスクのベンチマークを提供することを目的としている。次に、8つの公開データセット上の14のタスクに基づいて統一されたプロトコルを構築し、ベースラインとして音楽録音で開発されたすべてのオープンソース事前学習モデルの表現を公平かつ標準的に評価する。
論文参考訳（メタデータ） (2023-06-18T12:56:46Z)
Simple and Controllable Music Generation [94.61958781346176]
MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
論文参考訳（メタデータ） (2023-06-08T15:31:05Z)
RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
論文参考訳（メタデータ） (2023-05-18T03:57:51Z)
Quantized GAN for Complex Music Generation from Dance Videos [48.196705493763986]
D2M-GAN(Dance2Music-GAN, D2M-GAN, D2M-GAN)は、ダンスビデオに条件付けされた楽曲のサンプルを生成する新しいマルチモーダルフレームワークである。提案フレームワークは,ダンスビデオフレームと人体の動きを入力とし,対応する入力に付随する音楽サンプルを生成することを学習する。
論文参考訳（メタデータ） (2022-04-01T17:53:39Z)
An Empirical Evaluation of End-to-End Polyphonic Optical Music Recognition [24.377724078096144]
ピアノと管弦楽の楽譜は多音節をしばしば示しており、これはその課題に第2の次元を付け加えている。終端ポリフォニックOMRの2つの新しい定式化法を提案する。我々は,マルチシーケンス検出デコーダであるRNNDecoderを用いて,新しい最先端性能を観察する。
論文参考訳（メタデータ） (2021-08-03T22:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。