論文の概要: RUMAA: Repeat-Aware Unified Music Audio Analysis for Score-Performance Alignment, Transcription, and Mistake Detection

• arxiv url: http://arxiv.org/abs/2507.12175v1
• Date: Wed, 16 Jul 2025 12:13:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-17 19:00:11.381453
• Title: RUMAA: Repeat-Aware Unified Music Audio Analysis for Score-Performance Alignment, Transcription, and Mistake Detection
• Title（参考訳）: RUMAA: スコアアライメント、転写、誤検出のための再認識型統一音楽分析
• Authors: Sungkyun Chang, Simon Dixon, Emmanouil Benetos,
• Abstract要約: RUMAAは、音楽パフォーマンス分析のためのトランスフォーマーベースのフレームワークである。 スコア・ツー・パフォーマンス・アライメント、スコア・インフォームド・書き起こし、ミス検出をほぼエンドツーエンドで統一する。
• 参考スコア（独自算出の注目度）: 17.45655063331199
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study introduces RUMAA, a transformer-based framework for music performance analysis that unifies score-to-performance alignment, score-informed transcription, and mistake detection in a near end-to-end manner. Unlike prior methods addressing these tasks separately, RUMAA integrates them using pre-trained score and audio encoders and a novel tri-stream decoder capturing task interdependencies through proxy tasks. It aligns human-readable MusicXML scores with repeat symbols to full-length performance audio, overcoming traditional MIDI-based methods that rely on manually unfolded score-MIDI data with pre-specified repeat structures. RUMAA matches state-of-the-art alignment methods on non-repeated scores and outperforms them on scores with repeats in a public piano music dataset, while also delivering promising transcription and mistake detection results.
• Abstract（参考訳）: 本研究では,楽譜間のアライメント,楽譜インフォームト書き起こし,誤り検出をほぼエンドツーエンドで統一する演奏分析のためのトランスフォーマーベースのフレームワークであるRUMAAを紹介する。 これらのタスクを個別に扱う従来の方法とは異なり、RUMAAはそれらを事前訓練されたスコアとオーディオエンコーダと、プロキシタスクを通じてタスク間の依存性をキャプチャする新しいトリストリームデコーダを使用して統合する。 人間の読みやすいMusicXMLスコアをリピートシンボルとフル長のパフォーマンスオーディオに合わせることで、手動で展開されたスコア-MIDIデータに依存する従来のMIDIベースのメソッドを克服する。 RUMAAは、非繰り返しスコアに対する最先端のアライメント手法と一致し、公立ピアノ楽譜データセットにおけるリピートでスコアを上回り、有望な書き起こしと誤り検出結果を提供する。

関連論文リスト

• Beat and Downbeat Tracking in Performance MIDI Using an End-to-End Transformer Architecture [2.8544822698499255]
  動作MIDIにおけるビート・アンド・ダウンビート追跡のためのエンド・ツー・エンド・エンド・トランスフォーマーモデルを提案する。 提案手法では,動的拡張やトークン化の最適化など,新しいデータ前処理手法を導入している。 我々は,A-MAPS,ASAP,GuitarSet,Leducのデータセットを用いて,最先端の隠れマルコフモデル(HMM)とディープラーニングに基づくビートトラッキング手法との比較を行った。
  論文  参考訳（メタデータ） (2025-07-01T06:27:42Z)
• CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment [76.32508013503653]
  CAV-MAE Sync は,自己教師型音声視覚学習のためのオリジナルの CAV-MAE フレームワークの簡易かつ効果的な拡張として提案する。 音声をグローバルな表現ではなく,映像フレームに整合した時間的シーケンスとして扱うことで,モダリティ間のミスマッチに対処する。 パッチトークンのセマンティック負荷を低減するための学習可能なレジスタトークンを導入することにより,空間的ローカライゼーションを改善する。
  論文  参考訳（メタデータ） (2025-05-02T12:59:58Z)
• End-to-end Piano Performance-MIDI to Score Conversion with Transformers [26.900974153235456]
  実世界のピアノ演奏-MIDIファイルから直接詳細な楽譜を構築するエンド・ツー・エンドのディープ・ラーニング・アプローチを提案する。 シンボリック・ミュージック・データのための新しいトークン化表現を備えたモダン・トランスフォーマー・ベース・アーキテクチャを提案する。 また,本手法は,演奏データからトリルマークやステム方向などの表記法の詳細を直接予測する最初の方法でもある。
  論文  参考訳（メタデータ） (2024-09-30T20:11:37Z)
• Toward a More Complete OMR Solution [49.74172035862698]
  光音楽認識は、音楽の表記をデジタル形式に変換することを目的としている。 OMRに取り組む1つのアプローチは、画像内の視覚音楽の表記要素を最初に検出するマルチステージパイプラインである。 YOLOv8に基づく音楽オブジェクト検出器を導入し,検出性能を向上する。 第2に、検出出力に基づいて記法組立段階を完了する教師付きトレーニングパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-08-31T01:09:12Z)
• End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding [4.604877755214193]
  既存のピアノA2Sシステムは、合成データのみで訓練され、評価されている。 楽譜の階層構造に整合した階層デコーダを用いたシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。 本研究では,合成音声上での表現的パフォーマンスレンダリングシステムを用いてモデルを事前学習する2段階学習手法を提案し,続いて人間の演奏記録を用いてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-05-22T10:52:04Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• AlignSTS: Speech-to-Singing Conversion via Cross-Modal Alignment [67.10208647482109]
  STS音声変換タスクは,音声録音に対応する歌唱サンプルを生成することを目的としている。 本稿では,明示的なクロスモーダルアライメントに基づくSTSモデルであるAlignSTSを提案する。 実験の結果、AlignSTSは客観的メトリクスと主観的メトリクスの両方で優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-05-08T06:02:10Z)
• Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining [52.191658157204856]
  コントラスト学習を用いて、各音声サンプルではなく、各機械IDの音声表現を洗練する。 提案手法では、コントラスト学習を用いて音声表現モデルを事前学習する。 実験の結果,本手法はコントラスト学習や自己教師型分類を用いて最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-07T11:08:31Z)
• Unaligned Supervision For Automatic Music Transcription in The Wild [1.2183405753834562]
  NoteEMは、トランクレーバーを同時に訓練し、スコアを対応するパフォーマンスに合わせる方法である。 我々は、MAPSデータセットのSOTAノートレベル精度と、データセット間の評価において好適なマージンを報告した。
  論文  参考訳（メタデータ） (2022-04-28T17:31:43Z)
• Structure-Aware Audio-to-Score Alignment using Progressively Dilated Convolutional Neural Networks [8.669338893753885]
  音楽演奏と楽譜の間の構造的差異の同定は、音声とスコアのアライメントにおいて難しいが不可欠なステップである。 本稿では、進化的に拡張された畳み込みニューラルネットワークを用いて、そのような違いを検出する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-01-31T05:14:58Z)
• Score-informed Networks for Music Performance Assessment [64.12728872707446]
  MPAモデルにスコア情報を組み込んだディープニューラルネットワークに基づく手法はまだ研究されていない。 スコアインフォームド性能評価が可能な3つのモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-01T07:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。