論文の概要: Aligned Music Notation and Lyrics Transcription

• arxiv url: http://arxiv.org/abs/2412.04217v1
• Date: Thu, 05 Dec 2024 14:50:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:40:39.548731
• Title: Aligned Music Notation and Lyrics Transcription
• Title（参考訳）: 楽曲表記と歌詞の転写
• Authors: Eliseo Fuentes-Martínez, Antonio Ríos-Vila, Juan C. Martinez-Sevilla, David Rizo, Jorge Calvo-Zaragoza,
• Abstract要約: 本稿では,Aligned Music Notation and Lyrics Transcription (AMNLT) の課題を紹介する。 音楽記号、歌詞、それらの同期を共同で検討することで、声楽の完全な書き起こしに対処する。 我々は、音楽と歌詞を別々に扱う従来の分詞法から、新しいエンドツーエンドソリューションまで、この課題に対処するための様々なアプローチを評価する。
• 参考スコア（独自算出の注目度）: 8.411893399638046
• License:
• Abstract: The digitization of vocal music scores presents unique challenges that go beyond traditional Optical Music Recognition (OMR) and Optical Character Recognition (OCR), as it necessitates preserving the critical alignment between music notation and lyrics. This alignment is essential for proper interpretation and processing in practical applications. This paper introduces and formalizes, for the first time, the Aligned Music Notation and Lyrics Transcription (AMNLT) challenge, which addresses the complete transcription of vocal scores by jointly considering music symbols, lyrics, and their synchronization. We analyze different approaches to address this challenge, ranging from traditional divide-and-conquer methods that handle music and lyrics separately, to novel end-to-end solutions including direct transcription, unfolding mechanisms, and language modeling. To evaluate these methods, we introduce four datasets of Gregorian chants, comprising both real and synthetic sources, along with custom metrics specifically designed to assess both transcription and alignment accuracy. Our experimental results demonstrate that end-to-end approaches generally outperform heuristic methods in the alignment challenge, with language models showing particular promise in scenarios where sufficient training data is available. This work establishes the first comprehensive framework for AMNLT, providing both theoretical foundations and practical solutions for preserving and digitizing vocal music heritage.
• Abstract（参考訳）: ボーカル音楽の楽譜のデジタル化は、従来の光学音楽認識(OMR)や光学文字認識(OCR)を超える独特な課題を示す。 このアライメントは、実用的な応用において適切な解釈と処理に不可欠である。 本稿では,音楽記号,歌詞,およびそれらの同期を共同で考慮し,声楽の完全書き起こしに対処するAMNLT(Aligned Music Notation and Lyrics Transcription)チャレンジを初めて導入し,形式化する。 我々は、音楽と歌詞を別々に扱う従来の分詞法から、直接転写、展開機構、言語モデリングを含む新しいエンドツーエンドソリューションまで、この課題に対処するための様々なアプローチを分析する。 これらの手法を評価するために、グレゴリオ聖歌の4つのデータセットを導入し、実際の音源と合成音源の両方と、転写精度とアライメント精度の両方を評価するために特別に設計されたカスタムメトリクスを紹介した。 実験の結果, 言語モデルでは, 十分なトレーニングデータが得られるシナリオにおいて, 言語モデルが特に有望であることから, 概してヒューリスティックな手法よりも優れた結果が得られた。 この研究はAMNLTの最初の包括的枠組みを確立し、声楽遺産の保存とデジタル化のための理論的基礎と実践的解決策を提供する。

関連論文リスト

• MuDiT & MuSiT: Alignment with Colloquial Expression in Description-to-Song Generation [18.181382408551574]
  本稿では,口語記述から歌声生成への新たな課題を提案する。 生成されたコンテンツと口語的人間の表現の整合性に焦点を当てている。 この課題は、AIモデル内の言語理解と聴覚表現のギャップを埋めることを目的としている。
  論文  参考訳（メタデータ） (2024-07-03T15:12:36Z)
• Sheet Music Transformer: End-To-End Optical Music Recognition Beyond Monophonic Transcription [13.960714900433269]
  Sheet Music Transformer(シート・ミュージック・トランスフォーマー)は、モノフォニック・ストラテジーのみに頼らずに複雑な楽譜を転写するために設計された最初のエンドツーエンドのOMRモデルである。 我々のモデルは2つのポリフォニック音楽データセットでテストされており、これらの複雑な音楽構造を効果的に扱えることが証明されている。
  論文  参考訳（メタデータ） (2024-02-12T11:52:21Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• GETMusic: Generating Any Music Tracks with a Unified Representation and Diffusion Framework [58.64512825534638]
  シンボリック・ミュージック・ジェネレーションは、ユーザーが音楽を作るのに役立つ音符を作成することを目的としている。 私たちは「GETMusic」と呼ばれるフレームワークを紹介します。「GET'」は「GEnerate Music Tracks」の略です。 GETScoreは、音符をトークンとして表現し、2D構造でトークンを整理する。 提案する表現は,非自己回帰生成モデルと組み合わせて,任意のソース・ターゲットトラックの組み合わせでGETMusicに音楽を生成する。
  論文  参考訳（メタデータ） (2023-05-18T09:53:23Z)
• RMSSinger: Realistic-Music-Score based Singing Voice Synthesis [56.51475521778443]
  RMS-SVSは、異なる音符タイプでリアル音楽のスコアを与えられた高品質な歌声を生成することを目的としている。 RMS-SVS方式であるRMSSingerを提案する。 RMSSingerでは,時間を要する音素の持続時間アノテーションと複雑な音素レベルのメルノートアライメントを避けるために,単語レベルのモデリングを導入する。
  論文  参考訳（メタデータ） (2023-05-18T03:57:51Z)
• AlignSTS: Speech-to-Singing Conversion via Cross-Modal Alignment [67.10208647482109]
  STS音声変換タスクは,音声録音に対応する歌唱サンプルを生成することを目的としている。 本稿では,明示的なクロスモーダルアライメントに基づくSTSモデルであるAlignSTSを提案する。 実験の結果、AlignSTSは客観的メトリクスと主観的メトリクスの両方で優れたパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-05-08T06:02:10Z)
• Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
  この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。 2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。 3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-28T22:45:40Z)
• Towards Context-Aware Neural Performance-Score Synchronisation [2.0305676256390934]
  音楽の同期は、音楽の複数の表現を統一的にナビゲートする手段を提供する。 従来の同期手法は知識駆動と性能分析のアプローチを用いてアライメントを計算する。 このPhDは、データ駆動型コンテクスト対応アライメントアプローチの提案により、パフォーマンススコア同期の研究をさらに進める。
  論文  参考訳（メタデータ） (2022-05-31T16:45:25Z)
• SongMASS: Automatic Song Writing with Pre-training and Alignment Constraint [54.012194728496155]
  SongMASSは、歌詞からメロディーへの生成とメロディから歌詞への生成の課題を克服するために提案されている。 マスクドシーケンスを利用して、シーケンス(質量)事前トレーニングと注意に基づくアライメントモデリングを行う。 我々は,SongMASSがベースライン法よりもはるかに高品質な歌詞とメロディを生成することを示す。
  論文  参考訳（メタデータ） (2020-12-09T16:56:59Z)
• Optical Music Recognition: State of the Art and Major Challenges [0.0]
  光音楽認識(OMR)は、楽譜を機械可読形式に変換することを目的としている。 書き起こされたコピーは、ミュージシャンが楽譜の写真を撮って作曲、演奏、編集を行えるようにする。 近年,従来のコンピュータビジョン技術から深層学習手法への移行が進んでいる。
  論文  参考訳（メタデータ） (2020-06-14T12:40:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。