論文の概要: Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders

• arxiv url: http://arxiv.org/abs/2501.03038v1
• Date: Mon, 06 Jan 2025 14:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:08:01.097286
• Title: Piano Transcription by Hierarchical Language Modeling with Pretrained Roll-based Encoders
• Title（参考訳）: 事前制約付きロールベースエンコーダを用いた階層型言語モデリングによるピアノ転写
• Authors: Dichucheng Li, Yongyi Zang, Qiuqiang Kong,
• Abstract要約: AMTは通常、ピアノロール出力を持つフレームレベルのシステムや、ノートレベルの予測を持つ言語モデル(LM)ベースのシステムを使用する。 両手法の強みを利用するために,事前学習したロールベースエンコーダとLMデコーダを組み合わせたハイブリッド方式を提案する。 本手法は,従来のピアノロール出力0.01,0.022をオンセットオフセット速度F1スコアで上回る。
• 参考スコア（独自算出の注目度）: 8.23536196404666
• License:
• Abstract: Automatic Music Transcription (AMT), aiming to get musical notes from raw audio, typically uses frame-level systems with piano-roll outputs or language model (LM)-based systems with note-level predictions. However, frame-level systems require manual thresholding, while the LM-based systems struggle with long sequences. In this paper, we propose a hybrid method combining pre-trained roll-based encoders with an LM decoder to leverage the strengths of both methods. Besides, our approach employs a hierarchical prediction strategy, first predicting onset and pitch, then velocity, and finally offset. The hierarchical prediction strategy reduces computational costs by breaking down long sequences into different hierarchies. Evaluated on two benchmark roll-based encoders, our method outperforms traditional piano-roll outputs 0.01 and 0.022 in onset-offset-velocity F1 score, demonstrating its potential as a performance-enhancing plug-in for arbitrary roll-based music transcription encoder. We release the code of this work at https://github.com/yongyizang/AMT_train.
• Abstract（参考訳）: Automatic Music Transcription (AMT)は、生のオーディオから音符を入手することを目的としており、通常、ピアノロール出力を持つフレームレベルのシステムや、音符レベルの予測を持つ言語モデル(LM)ベースのシステムを使用する。 しかし、フレームレベルのシステムは手動のしきい値を必要とするが、LMベースのシステムは長いシーケンスで苦労する。 本稿では,事前学習したロールベースエンコーダとLMデコーダを組み合わせたハイブリッド方式を提案する。 さらに,本手法では,まず開始とピッチ,次に速度,最後にオフセットを予測し,階層的な予測戦略を採用する。 階層予測戦略は、長い列を異なる階層に分割することで計算コストを削減する。 2つのベンチマークロールベースのエンコーダで評価し,従来のピアノロール出力0.01,0.022をオンセットオフセット速度F1スコアで上回り,任意のロールベースの楽曲書き起こしエンコーダの性能向上のためのプラグインとしての可能性を示した。 この作業のコードはhttps://github.com/yongyizang/AMT_train.comで公開しています。

関連論文リスト

• Music Genre Classification using Large Language Models [50.750620612351284]
  本稿では,音楽ジャンル分類のための事前学習された大規模言語モデル(LLM)のゼロショット機能を利用する。 提案手法は、音声信号を20ミリ秒のチャンクに分割し、畳み込み特徴エンコーダで処理する。 推論中、個々のチャンクの予測は最終ジャンル分類のために集約される。
  論文  参考訳（メタデータ） (2024-10-10T19:17:56Z)
• End-to-end Piano Performance-MIDI to Score Conversion with Transformers [26.900974153235456]
  実世界のピアノ演奏-MIDIファイルから直接詳細な楽譜を構築するエンド・ツー・エンドのディープ・ラーニング・アプローチを提案する。 シンボリック・ミュージック・データのための新しいトークン化表現を備えたモダン・トランスフォーマー・ベース・アーキテクチャを提案する。 また,本手法は,演奏データからトリルマークやステム方向などの表記法の詳細を直接予測する最初の方法でもある。
  論文  参考訳（メタデータ） (2024-09-30T20:11:37Z)
• WaveletGPT: Wavelets Meet Large Language Models [1.2328446298523066]
  大規模言語モデル(LLM)は、人工知能の新たな進歩の波を支えている。 本稿では,従来の信号処理のアイデアであるウェーブレットを事前学習中にLLMに注入し,その利点を生かした。 我々は、テキスト、生のオーディオ、シンボリック音楽において、ほぼ2倍の速さで事前学習を行う。
  論文  参考訳（メタデータ） (2024-09-04T03:17:19Z)
• End-to-End Real-World Polyphonic Piano Audio-to-Score Transcription with Hierarchical Decoding [4.604877755214193]
  既存のピアノA2Sシステムは、合成データのみで訓練され、評価されている。 楽譜の階層構造に整合した階層デコーダを用いたシーケンス・ツー・シーケンス(Seq2Seq)モデルを提案する。 本研究では,合成音声上での表現的パフォーマンスレンダリングシステムを用いてモデルを事前学習する2段階学習手法を提案し,続いて人間の演奏記録を用いてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-05-22T10:52:04Z)
• Language Models as Hierarchy Encoders [22.03504018330068]
  階層変換器エンコーダ(HiTs)として再学習トランスフォーマーエンコーダを用いたLMを提案する。 本手法は, 埋込次元に適応する曲率を持つポアンカー球内に, 予め学習したLMの出力埋め込み空間を定めている。 予め訓練したLM, 標準微調整されたLM, およびいくつかの双曲埋め込みベースラインに対するHiTsの評価を行った。
  論文  参考訳（メタデータ） (2024-01-21T02:29:12Z)
• Masked Audio Generation using a Single Non-Autoregressive Transformer [90.11646612273965]
  MAGNeTは、複数のオーディオトークンストリーム上で直接動作するマスク付き生成シーケンスモデリング手法である。 テキスト・トゥ・ミュージック・アンド・テキスト・トゥ・オーディオ・ジェネレーションのタスクにおけるMAGNeTの有効性を実証する。 我々は、自己回帰と非自己回帰モデリングのトレードオフを指摘するとともに、MAGNeTを構成する各コンポーネントの重要性を強調した。
  論文  参考訳（メタデータ） (2024-01-09T14:29:39Z)
• Rethinking Model Selection and Decoding for Keyphrase Generation with Pre-trained Sequence-to-Sequence Models [76.52997424694767]
  キーフレーズ生成(英: Keyphrase Generation, KPG)は、NLPにおける長年の課題である。 Seq2seq 事前訓練言語モデル (PLM) は KPG に転換期を迎え、有望な性能改善をもたらした。 本稿では, PLM に基づく KPG におけるモデル選択と復号化戦略の影響について, 系統解析を行った。
  論文  参考訳（メタデータ） (2023-10-10T07:34:45Z)
• UNFUSED: UNsupervised Finetuning Using SElf supervised Distillation [53.06337011259031]
  音声分類に自己教師付き学習を活用する新しい手法UnFuSeDを提案する。 エンコーダを用いて、実際の微調整ステップの前に、教師なしの微調整のための擬似ラベルを生成する。 UnFuSeDはLAPEベンチマークで最先端の結果を達成し、すべてのベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2023-03-10T02:43:36Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。