論文の概要: OmniScore-Bench: Evaluating Vision-Language Models on Musical Score Reading
- arxiv url: http://arxiv.org/abs/2611.17870v1
- Date: Fri, 13 Nov 2026 08:01:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.332746
- Title: OmniScore-Bench: Evaluating Vision-Language Models on Musical Score Reading
- Title(参考訳): OmniScore-Bench:楽譜読解における視覚言語モデルの評価
- Abstract要約: 視覚言語モデル(VLM)は、楽譜に関する疑問に答えることができるが、発音を認識し、その構造を復元し、その音楽的意味を解釈する能力は評価を必要とする。
OmniScore-Benchは、6つの側面と24のタスクサブタイプにまたがる3000の質問を通して、VLMにおける光音楽認識能力の評価を行う。
12個のVLMを評価した結果,排他的,単ページ的,多ページ的タスクにまたがる操作固有の機能プロファイルと異なる書き起こしリーダが明らかとなった。
- 参考スコア(独自算出の注目度): 33.46665952315578
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) can answer questions about musical scores, but their ability to recognise notation, recover its structure and interpret its musical meaning requires separate evaluation. Existing optical music recognition (OMR) resources establish detection and transcription measurements; a transcription score alone leaves the strengths and bottlenecks of a VLM score reader unresolved. We introduce OmniScore-Bench, an evaluation of OMR capabilities in VLMs through 3,000 questions spanning six aspects and 24 task subtypes. Each question specifies a visible scope, reference annotations and an answer schema, enabling automatic evaluation from symbol localisation to musical consistency and evidence-linked question answering. Our assessment of twelve VLMs reveals operation-specific capability profiles and different transcription leaders across excerpt, single-page and multipage tasks. Controlled analyses examine the roles of score images, auxiliary givens and additional page context. On the tested subset, image removal exposes visual dependence in pitch and repeat interpretation while measuring how much performance remains with public context alone. Separate format and content analyses distinguish answer-format violations from musical errors. OmniScore-Bench supports diagnosing which score-reading operations VLMs perform reliably and which require improvement.
- Abstract(参考訳): 視覚言語モデル(VLM)は、楽譜に関する疑問に答えることができるが、発音を認識し、その構造を復元し、音楽の意味を解釈する能力は別々に評価する必要がある。
既存の光学音楽認識(OMR)リソースは、検出と転写の測定を確立し、転写スコアだけは、VLMスコアリーダーの強度とボトルネックを未解決のまま残している。
OmniScore-Benchは、6つの側面と24のタスクサブタイプにまたがる3000の質問を通して、VLMにおけるOMR機能の評価を行う。
各質問は可視範囲、参照アノテーション、回答スキーマを指定し、記号のローカライゼーションから音楽的一貫性、エビデンスにリンクされた質問応答までの自動評価を可能にする。
12個のVLMを評価した結果,排他的,単ページ的,多ページ的タスクにまたがる操作固有の機能プロファイルと異なる書き起こしリーダが明らかとなった。
制御された分析は、スコアイメージ、補助的なギフト、追加のページコンテキストの役割について検討する。
テストされたサブセットでは、画像除去がピッチとリピート解釈の視覚的依存を露呈し、パブリックコンテキストだけでどれだけのパフォーマンスが残っているかを計測する。
異なる形式と内容分析は、解答形式違反と音楽的誤りを区別する。
OmniScore-Benchは、スコア読み取り操作VLMが確実に動作し、改善を必要とする診断をサポートする。
関連論文リスト
- MQAScore: Fine-Grained Text-Music Alignment Evaluation via Large Audio Language Model [13.784466377373057]
MQAScoreを導入し、各原子音楽概念を5つのクリップレベル次元で検証する。
MQAScoreは、テキストと音楽のアライメントを評価するためのグローバルな類似性に対する、より信頼性が高く、解釈可能な微妙な補完である。
論文 参考訳(メタデータ) (2026-10-22T10:56:25Z) - ScorePrompts: Natural-Language Exploration of Symbolic Music Scores through Analysis [10.043889764557965]
ユーザが楽譜をアップロードし、その音楽構造を自然言語で記述するインタラクティブシステム。
MIRコンポーネントはまず調和、調性、ケイデンス、形式的境界、テクスチャ、ノートレベルの役割を推定する。
14-18」のような質問に対して、決定論的ルータは関連する測度と分析レベルを選択する。
Verovioはスコアをレンダリングし、返された情報を引用された測度とノートレベルの属性にリンクする。
論文 参考訳(メタデータ) (2026-09-09T11:13:48Z) - Audit After Segmentation: Reference-Free Mask Quality Assessment for Language-Referred Audio-Visual Segmentation [79.13636675697096]
Ref-AVSコンテキストにおけるマスク品質評価(MQA-RefAVS)
MQA-RefAVSは、地平線アノテーションに頼ることなく、候補セグメンテーションマスクの品質を評価するタスクである。
本稿では,マルチモーダルな大規模言語モデル(MLLM)に基づく監査ツールMQ-Auditorを提案する。
論文 参考訳(メタデータ) (2026-02-03T07:47:59Z) - Factual and Musical Evaluation Metrics for Music Language Models [5.124350492915739]
音楽言語モデル(Music LM)は、マルチモーダル表現を利用して、音楽録音に関する自然言語クエリに答える。
Music LMは改善されていると報じられているが、現在の評価ではその答えが正しいかどうかを把握できない。
本研究では,(1)音楽領域に適応した音楽LMのより汎用的な評価基準を提案し,(2)音楽LMの応答の正しさを定量的に評価するための実測フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-02T18:08:26Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳(メタデータ) (2025-08-29T07:40:39Z) - CMI-Bench: A Comprehensive Benchmark for Evaluating Music Instruction Following [12.638115555721257]
CMI-Benchは、様々な音楽情報検索(MIR)タスクにおいて、オーディオテキストLLMを評価するために設計された総合的な音楽指示に従うベンチマークである。
以前のベンチマークとは異なり、CMI-Benchは従来の最先端のMIRモデルと一致する標準化された評価基準を採用している。
LTU,Qwen-audio,SALMONN,MusiLingoなど,オープンソースの音声テキストLLMをサポートする評価ツールキットを提供する。
論文 参考訳(メタデータ) (2025-06-14T00:18:44Z) - Painting with Words: Elevating Detailed Image Captioning with Benchmark and Alignment Learning [56.31096024472269]
我々はDeCapBenchと、詳細なキャプションタスク用に特別に設計された新しいメトリックであるDCScoreを紹介する。
DCScoreは、反応を最小の自己充足単位に分解することで、幻覚ときめ細かい包括性を評価する。
DeCapBenchは、視覚言語モデルの既存のベンチマークを上回り、記述タスクにおけるVLMアリーナの結果と高い相関を示す。
論文 参考訳(メタデータ) (2025-03-10T22:53:56Z) - Leveraging VLM-Based Pipelines to Annotate 3D Objects [68.51034848207355]
本稿では,VLMの応答に影響を与える視点などの要因を疎外する代替アルゴリズムを提案する。
テキストのみの応答をマージする代わりに、VLMの合同画像テキストの可能性を利用する。
VLMベースのパイプラインを使って764Kデータセットから764Kオブジェクトの信頼性の高いアノテーションを生成する方法を示す。
論文 参考訳(メタデータ) (2023-11-29T17:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。