論文の概要: Can LLMs understand LilyPond? A benchmark for symbolic music generation and understanding

• arxiv url: http://arxiv.org/abs/2606.08722v1
• Date: Sun, 07 Jun 2026 16:32:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.413325
• Title: Can LLMs understand LilyPond? A benchmark for symbolic music generation and understanding
• Title（参考訳）: LLMはLilyPondを理解できるか? シンボリック音楽生成と理解のためのベンチマーク
• Authors: Matteo Spanio, Mohammad Torabi, Andrea Poltronieri, Antonio Rodà,
• Abstract要約: 大規模な言語モデルのシンボリック音楽評価は、表現、データセット、メトリクスで断片化されている。 LilyBenchはLilyPondベースのベンチマークで、オープンウェイトLLMの同じファミリー上で、象徴的な音楽生成と音楽理解を共同で評価する。
• 参考スコア（独自算出の注目度）: 0.9886053654565675
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Symbolic music evaluation for large language models remains fragmented across representations, datasets, and metrics. We introduce LilyBench, a LilyPond-based benchmark that jointly evaluates symbolic music generation and music understanding on the same family of open-weight LLMs. The benchmark includes a 200-prompt generation suite and ten understanding tasks adapted from ABC-Eval, covering syntax, metadata prediction, structural sequencing, and music recognition. Generation quality is evaluated using compile rate, MusPy descriptor distributions via Jensen-Shannon similarity, and LilyBERT-based Fréchet Music Distance (FMD). Experiments on four open-weight models show that executable LilyPond generation is achievable in zero-shot settings, while structural understanding tasks remain challenging despite strong performance on composer and genre recognition. Our experiments also reveal systematic disagreements between descriptor-based and embedding-based metrics, suggesting that symbolic music evaluation benefits from metric triangulation rather than single-score ranking. We release the benchmark, prompt bank, and evaluation code to support future research in symbolic music generation and understanding at https://github.com/CSCPadova/lilybench
• Abstract（参考訳）: 大規模な言語モデルのシンボリック音楽評価は、表現、データセット、メトリクスで断片化されている。 LilyBenchはLilyPondベースのベンチマークで、オープンウェイトLLMの同じファミリー上で、象徴的な音楽生成と音楽理解を共同で評価する。 ベンチマークには200プロンプト生成スイートとABC-Evalから適応した10の理解タスクが含まれており、構文、メタデータの予測、構造的シークエンシング、音楽認識をカバーしている。 生成品質は、コンパイル率、Jensen-Shannon類似性によるMusPy記述子分布、およびLilyBERTベースのFréchet Music Distance(FMD)を用いて評価される。 4つのオープンウェイトモデルの実験では、ゼロショット設定で実行可能なLilyPond生成が達成可能である一方で、構成的理解タスクは、作曲家やジャンル認識の強いパフォーマンスにもかかわらず、難しいままである。 また,本実験では,記述子に基づくメトリクスと埋め込みに基づくメトリクスの体系的な相違も明らかにし,記号的音楽評価はシングルスコアのランキングよりもメートル法三角法の方が有益であることが示唆された。 シンボリック音楽生成と理解に関する将来の研究を支援するためのベンチマーク、プロンプトバンク、評価コード(https://github.com/CSCPadova/lilybench)をリリースする。

関連論文リスト

• FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
  自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。 この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。 本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T18:05:39Z)
• BMdataset: A Musicologically Curated LilyPond Dataset [1.0705399532413615]
  BMdatasetは、音楽学的にキュレートされた393のLilyPondスコア(2,646運動)のデータセットである CodeBERTベースのエンコーダであるLilyBERTを導入し,語彙拡張によるシンボリック音楽に適応する。 BMdatasetだけでの微調整は、作曲家とスタイルの分類において、完全なPDMXコーパスでの連続事前訓練よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-12T13:09:20Z)
• Beyond Musical Descriptors: Extracting Preference-Bearing Intent in Music Queries [9.932656605847727]
  Redditの音楽リクエスト2,291件の注釈付きコーパスであるMusicRecoIntentを紹介した。 我々は,肯定的,否定的,参照的嗜好的役割を持つ7つのカテゴリにまたがる音楽記述子をラベル付けする。
  論文  参考訳（メタデータ） (2026-02-11T10:52:38Z)
• Factual and Musical Evaluation Metrics for Music Language Models [5.124350492915739]
  音楽言語モデル(Music LM)は、マルチモーダル表現を利用して、音楽録音に関する自然言語クエリに答える。 Music LMは改善されていると報じられているが、現在の評価ではその答えが正しいかどうかを把握できない。 本研究では,(1)音楽領域に適応した音楽LMのより汎用的な評価基準を提案し,(2)音楽LMの応答の正しさを定量的に評価するための実測フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-02T18:08:26Z)
• Towards an AI Musician: Synthesizing Sheet Music Problems for Musical Reasoning [69.78158549955384]
  本稿では,ビートやインターバルをプログラム関数として扱うような,コア音楽理論のルールを扱う新しいアプローチを提案する。 このアプローチは、テキストと視覚の両方で検証可能な楽譜の質問を生成する。 SSMR-Benchの評価結果は,楽譜の解釈における重要な役割を浮き彫りにした。
  論文  参考訳（メタデータ） (2025-09-04T09:42:17Z)
• Large Language Models' Internal Perception of Symbolic Music [3.9901365062418317]
  大規模言語モデル(LLM)は、自然言語における文字列間の関係のモデル化に優れている。 本稿では,テキストのプロンプトからシンボリック音楽データを生成することで,LLMが音楽概念をどのように表現するかを検討する。
  論文  参考訳（メタデータ） (2025-07-17T05:48:45Z)
• SongComposer: A Large Language Model for Lyric and Melody Generation in Song Composition [82.38021790213752]
  SongComposerは、音楽専門の大規模言語モデル(LLM)である。 3つの重要なイノベーションを活用することで、メロディーをLLMに同時に構成する能力を統合する。 歌詞からメロディへの生成、メロディから歌詞への生成、歌の継続、テキストから歌への生成といったタスクにおいて、高度なLLMよりも優れています。 SongComposeは大規模なトレーニング用データセットで、中国語と英語の歌詞とメロディのペアを含む。
  論文  参考訳（メタデータ） (2024-02-27T16:15:28Z)
• Simple and Controllable Music Generation [94.61958781346176]
  MusicGenは単一の言語モデル(LM)であり、圧縮された離散的な音楽表現、すなわちトークンの複数のストリームで動作する。 以前の作業とは異なり、MusicGenはシングルステージのトランスフォーマーLMと効率的なトークンインターリービングパターンで構成されている。
  論文  参考訳（メタデータ） (2023-06-08T15:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。