Fugu-MT 論文翻訳(概要): LEGATO 2: Toward Multimodal Sheet Music Recognition and Understanding

論文の概要: LEGATO 2: Toward Multimodal Sheet Music Recognition and Understanding

arxiv url: http://arxiv.org/abs/2607.05769v1
Date: Tue, 07 Jul 2026 02:47:13 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-08 21:24:51.373412
Title: LEGATO 2: Toward Multimodal Sheet Music Recognition and Understanding
Title（参考訳）: LEGATO 2:マルチモーダルシート音楽認識・理解に向けて
Abstract要約: Legato 2は、楽譜の画像から記号表記と意味知識を抽出するパイプラインである。システムごとに順次動作する光学音楽認識(OMR)のための最初の大規模ニューラルモデルを備えている。また、埋め込みテキストコンテンツを含む記号転写を生成することができる最初のOMRモデルでもある。
参考スコア（独自算出の注目度）: 45.71641492661869
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a novel pipeline, Legato 2, for extracting symbolic notation and semantic knowledge from images of sheet music. Legato 2 features the first large-scale neural model for optical music recognition (OMR) to operate sequentially on a system-by-system basis, following the horizontal lines of notation as they are read on the page, rather than treating the page as an undifferentiated image, enabling better scaling to arbitrarily long inputs. It is also the first OMR model capable of generating symbolic transcriptions that include embedded textual content, such as titles and annotations. The pipeline combines system-level segmentation with an autoregressive vision-LM to capture both local notation details and score structure. Across multiple datasets, Legato 2 consistently outperforms prior state of the art. We also show that symbolic transcriptions complement visual inputs for frontier language models, improving their interpretation of dense musical documents. Legato 2 establishes new state-of-the-art performance in both OMR and downstream sheet music understanding.
Abstract（参考訳）: 本稿では,楽譜画像から記号表記と意味知識を抽出する新しいパイプラインLegoto 2を提案する。 Legato 2は、光学音楽認識(OMR)のための最初の大規模ニューラルモデルであり、ページを未分化の画像として扱うのではなく、ページ上で読み上げられる水平の表記線に従って、システムごとに順次動作する。また、タイトルやアノテーションなどの埋め込みテキストコンテンツを含むシンボリックな書き起こしを生成することができる最初のOMRモデルでもある。パイプラインはシステムレベルのセグメンテーションと自己回帰視覚-LMを組み合わせることで、局所的な表記の詳細とスコア構造の両方をキャプチャする。複数のデータセットにまたがって、Legato 2は従来よりも一貫してパフォーマンスが向上している。また,記号転写がフロンティア言語モデルの視覚的入力を補完することを示す。 Legato 2は、OMRとダウンストリームシート音楽の理解において、新しい最先端のパフォーマンスを確立する。

関連論文リスト

MuSViT: A Foundation Vision Model for Sheet Music Representation [9.770871275902708]
楽譜表現のための基礎的視覚モデル MuSViT (Music Score Vision Transformer) を紹介する。 MuSViT は IMSLP から970万ページの Masked Autoencoders で事前訓練された ViT エンコーダである。我々は、フルページおよびスタッフレベルの音楽スコア認識、音楽記号検出、得点難度分類の4つの下流タスクでMuSViTを評価する。
論文参考訳（メタデータ） (2026-06-30T15:27:12Z)
FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
論文参考訳（メタデータ） (2026-06-04T18:05:39Z)
From Image to Music Language: A Two-Stage Structure Decoding Approach for Complex Polyphonic OMR [23.454234180354323]
実用的な2段階光音楽認識(OMR)パイプラインに対する新しいアプローチを提案する。視覚パイプラインからシンボルとイベント候補が与えられたら、それらを編集可能、検証可能、エクスポート可能なスコア構造にデコードします。我々は、複雑な多声的スタッフ表記、特にピアノ楽譜に焦点を合わせ、声の分離と測定中のタイミングが主なボトルネックとなっている。
論文参考訳（メタデータ） (2026-04-22T13:01:36Z)
FlowDubber: Movie Dubbing with LLM-based Semantic-aware Learning and Flow Matching based Voice Enhancing [81.3306413498174]
Movie Dubbingは、スクリプトを、時間的および感情的な両方の面において、所定の映画クリップと整合するスピーチに変換することを目的としている。既存の手法は、リップシンクと音響品質の重要性を無視しながら、単語エラー率の低減に重点を置いている。ダビングのための大規模言語モデル(LLM)に基づくフローマッチングアーキテクチャであるFlowDubberを提案する。
論文参考訳（メタデータ） (2025-05-02T13:30:19Z)
NOTA: Multimodal Music Notation Understanding for Visual Large Language Model [38.26693446133213]
大規模な総合マルチモーダル音楽表記データセットであるNOTAを提案する。世界の3つの地域からの1,019,237のレコードで構成され、3つのタスクを含んでいる。このデータセットに基づいて,音楽表記の視覚的大言語モデルであるNotaGPTを訓練した。
論文参考訳（メタデータ） (2025-02-17T16:39:19Z)
Toward a More Complete OMR Solution [49.74172035862698]
光音楽認識は、音楽の表記をデジタル形式に変換することを目的としている。 OMRに取り組む1つのアプローチは、画像内の視覚音楽の表記要素を最初に検出するマルチステージパイプラインである。 YOLOv8に基づく音楽オブジェクト検出器を導入し,検出性能を向上する。第2に、検出出力に基づいて記法組立段階を完了する教師付きトレーニングパイプラインを導入する。
論文参考訳（メタデータ） (2024-08-31T01:09:12Z)
Knowledge Discovery in Optical Music Recognition: Enhancing Information Retrieval with Instance Segmentation [0.0]
光音楽認識(OMR)は、画像からMusicXML、MEI、MIDIなどの機械可読フォーマットに音符の書き起こしを自動化する。本研究では,MAsk R-CNNを用いたサンプルセグメンテーションを適用してOMRにおける知識発見について検討し,楽譜における記号の検出とデライン化を強化する。
論文参考訳（メタデータ） (2024-08-27T12:34:41Z)
End-to-End Full-Page Optical Music Recognition for Pianoform Sheet Music [12.779526750915707]
複雑なレイアウトにおいて、ページレベルの光音楽認識のための、真にエンドツーエンドなアプローチを初めて提示する。本システムでは,畳み込み層と自己回帰変換器を組み合わせることで,楽譜ページ全体を処理し,完全書き起こしを符号化形式で出力する。その結果,本システムは,全ページの楽譜の書き起こしに成功しただけでなく,ゼロショット設定とターゲットドメインとの微調整の両面において,商業ツールよりも優れていた。
論文参考訳（メタデータ） (2024-05-20T15:21:48Z)
Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文参考訳（メタデータ） (2022-03-27T21:16:10Z)
End-to-end Audio-visual Speech Recognition with Conformers [65.30276363777514]
ResNet-18とConvolution-augmented Transformer(Conformer)に基づくハイブリッドCTC/Attentionモデルを提案する。特に、オーディオおよびビジュアルエンコーダは、生のピクセルとオーディオ波形から直接特徴を抽出することを学びます。提案手法は, 音声のみ, 視覚のみ, および視聴覚実験において, 最先端の性能を高めることを実証する。
論文参考訳（メタデータ） (2021-02-12T18:00:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。