論文の概要: DuET: Note-Frame Dual Encoding for Piano Performance-to-Score Transcription
- arxiv url: http://arxiv.org/abs/2610.21467v1
- Date: Thu, 15 Oct 2026 08:11:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.275769
- Title: DuET: Note-Frame Dual Encoding for Piano Performance-to-Score Transcription
- Title（参考訳）: DuET: ピアノ演奏とスコアの書き起こしのためのノートフレームデュアル符号化
- Abstract要約: DuETは、ノートレベルのMIDI-to-score(PM2S)書き起こしとフレームレベルのビートとダウンビート追跡を学習する。
双方向のクロスアテンションはノートとフレームエンコーダを接続し、自動回帰デコーダはスコア属性を交互に切り替える。
各データセット上で最強のベースラインと比較して、DuETはMUSTER平均誤差をGangqinpuで6.56%から3.64%、ASAPで11.30%から11.22%に削減している。
- 参考スコア（独自算出の注目度）: 6.9847786946703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transcribing expressive piano performances into scores requires interpreting individual note timings within an underlying metrical structure. However, score attributes are associated with notes, whereas beats may occur without coincident note onsets. We introduce DuET, a Dual-Encoder Transformer that jointly learns note-level performance MIDI-to-score (PM2S) transcription and frame-level beat and downbeat tracking. Bidirectional cross-attention connects note and frame encoders, while an autoregressive decoder alternates between their representations to predict structured score attributes. We further introduce TimeRoPE and Time-Pitch Rotary Positional Encoding (TPRoPE) to establish a shared performance-time reference and explicitly encode relative temporal and pitch relationships. Evaluations on ASAP, a classical piano dataset, and our curated Gangqinpu dataset, which spans multiple genres with a focus on popular piano music, demonstrate improvements in score timing and notated duration. Compared with the strongest baseline on each dataset, DuET reduces MUSTER mean error from 6.56% to 3.64% on Gangqinpu and from 11.30% to 11.22% on ASAP. Ablations support the benefits of frame-level context, time-based positional encoding, and decoder-history masking. Code, weights, and demos are available at https://github.com/wei-zeng98/DuET.
- Abstract（参考訳）: 表現力豊かなピアノ演奏を楽譜に変換するには、基礎となるメートル法構造の中で個々の音符のタイミングを解釈する必要がある。
しかし、スコア属性は音符に関連付けられ、ビートは一致した音符のオンセットなしで起こることがある。
我々はDuET(Dual-Encoder Transformer)を紹介し,音符レベルのMIDI-to-score(PM2S)書き起こしとフレームレベルのビート・アンド・ダウンビート追跡を共同で学習する。
双方向のクロスアテンションはノートとフレームエンコーダを接続し、自動回帰デコーダはそれらの表現を交互に切り換えて構造化スコア属性を予測する。
さらに,TPRoPE(Time-Pitch Rotary Positional Encoding)とTPRoPE(Time-Pitch Rotary Positional Encoding)を導入した。
クラシックピアノのデータセットであるASAPと,ポピュラーピアノに焦点をあてた複数のジャンルにまたがるGangqinpuデータセットの評価を行った。
各データセット上で最強のベースラインと比較して、DuETはMUSTER平均誤差をGangqinpuで6.56%から3.64%、ASAPで11.30%から11.22%に削減している。
アブレーションは、フレームレベルのコンテキスト、時間ベースの位置エンコーディング、デコーダ-履歴マスキングの利点をサポートする。
コード、ウェイト、デモはhttps://github.com/wei-zeng98/DuET.comで公開されている。
関連論文リスト
- Pose-Aware Multimodal Automatic Tagging for Greek Traditional Music [81.96990106395953]
本研究では, ダンサーポーズの使用が, 音声以外のギリシャ伝統音楽の自動タグ付けに補完的な情報を提供するかどうかを考察する。
舞踊映像から一次ダンサー骨格配列を抽出する自動パイプラインを提案する。
複数の融合戦略を用いて、一様系、全双モード結合系、および三次系を比較した。
論文 参考訳（メタデータ） (2026-09-22T21:53:06Z) - Multi-Task Multi-Frame Visual Piano Transcription [57.32059378506694]
本稿では,最初の完全なVisual Piano TranscriptionシステムであるV2N(Video to Notes)を紹介する。
共有時間バックボーンは、タスク固有のヘッドをオンセット、オフセット、キーホールド、ベロシティに供給する。
アブレーションは、マルチタスクの監視により、オフセット精度を改善しつつ、オフセットとベロシティの予測が可能になることを示している。
論文 参考訳（メタデータ） (2026-08-04T10:11:45Z) - FIGMA: Towards FIne-Grained Music retrievAl [65.98380295254817]
自然言語記述による音楽の検索はCLAPのような対照的な音声テキストモデルで改善されているが、現在のシステムはいまだに大まかなセマンティッククエリに限られている。
この制限は、長いキャプションで訓練されているにもかかわらず、CLAPベースのモデルは、最初の数個のトークンのみを効果的に活用する。
本研究では,グローバルな音声テキストアライメントとフレームレベルのトークンアライメントを共同で最適化することで,この制限に対処するマルチビューコントラストアーキテクチャであるFIGMAを提案する。
論文 参考訳（メタデータ） (2026-06-04T18:05:39Z) - Rubato: Transcribing Piano Music with Timestamps [47.76733897717644]
タイムスタンプを付加した人間可読シート音楽への音楽録音の変換について検討する。
本稿では,(1)ポリフォニック音楽の新しいテキスト表現であるInterMoの出力を訓練した,Rubatoというプロンプト条件付きエンコーダデコーダモデルを紹介する。
実験により, ルバトは, 音符の精度を最良なアプローチよりも高め, タイムスタンプ付きピアノ楽譜を音声から生成できることが実証された。
論文 参考訳（メタデータ） (2026-05-22T23:47:21Z) - PianoVAM: A Multimodal Piano Performance Dataset [56.318475235705954]
PianoVAMは、ビデオ、オーディオ、MIDI、手のランドマーク、指のラベル、リッチメタデータを含む包括的なピアノパフォーマンスデータセットである。
データセットはディクラヴィエピアノを使用して録音され、アマチュアピアニストの日々の練習セッション中にオーディオとMIDIをキャプチャした。
事前訓練されたポーズ推定モデルと半自動指先アノテーションアルゴリズムを用いて,手指のランドマークと指先ラベルを抽出した。
論文 参考訳（メタデータ） (2025-09-10T17:35:58Z) - Towards Video to Piano Music Generation with Chain-of-Perform Support Benchmarks [6.895278984923356]
Chain-of-Perform (CoP)ベンチマークは、ビデオ誘導ピアノ音楽生成のための、完全にオープンソースでマルチモーダルなベンチマークである。
CoPベンチマークは詳細なマルチモーダルアノテーションを提供し、ビデオコンテンツとピアノオーディオの正確な意味と時間的アライメントを可能にする。
データセットはhttps://github.com/acappemin/Video-to-Audio-and-Pianoで公開されている。
論文 参考訳（メタデータ） (2025-05-26T14:24:19Z) - Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders [8.23536196404666]
両手法の強みを利用するために,事前学習したロールベースエンコーダとLMデコーダを組み合わせたハイブリッド方式を提案する。
本手法は,従来のピアノロール出力0.01,0.022をオンセットオフセット速度F1スコアで上回る。
論文 参考訳（メタデータ） (2025-01-06T14:26:00Z) - End-to-end Piano Performance-MIDI to Score Conversion with Transformers [26.900974153235456]
実世界のピアノ演奏-MIDIファイルから直接詳細な楽譜を構築するエンド・ツー・エンドのディープ・ラーニング・アプローチを提案する。
シンボリック・ミュージック・データのための新しいトークン化表現を備えたモダン・トランスフォーマー・ベース・アーキテクチャを提案する。
また,本手法は,演奏データからトリルマークやステム方向などの表記法の詳細を直接予測する最初の方法でもある。
論文 参考訳（メタデータ） (2024-09-30T20:11:37Z) - Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。
市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。
結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
論文 参考訳（メタデータ） (2023-08-08T19:38:15Z) - Differential Music: Automated Music Generation Using LSTM Networks with
Representation Based on Melodic and Harmonic Intervals [0.0]
本稿では,LSTMネットワークを用いた自動作曲のための生成AIモデルを提案する。
絶対的なピッチではなく音楽の動きに基づく音楽情報の符号化に新しいアプローチをとる。
実験結果は、音楽やトーンを聴くと約束を示す。
論文 参考訳（メタデータ） (2021-08-23T23:51:08Z) - BERT-like Pre-training for Symbolic Piano Music Classification Tasks [15.02723006489356]
本稿では,BERT (Bidirectional Representations from Transformers) を用いたシンボリックピアノ音楽分類のベンチマーク研究について述べる。
BERT手法を用いて2つの12層トランスフォーマーモデルを事前訓練し、4つの下流分類タスクでそれらを微調整する。
評価の結果,BERTアプローチはリカレントニューラルネットワーク(RNN)ベースラインよりも高い分類精度が得られた。
論文 参考訳（メタデータ） (2021-07-12T07:03:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。