Fugu-MT 論文翻訳(概要): MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage

論文の概要: MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage

arxiv url: http://arxiv.org/abs/2403.10024v1
Date: Fri, 15 Mar 2024 05:13:38 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 18:29:12.425576
Title: MR-MT3: Memory Retaining Multi-Track Music Transcription to Mitigate Instrument Leakage
Title（参考訳）: MR-MT3: 楽器漏れを緩和するマルチトラック音楽の書き起こしを記憶する
Authors: Hao Hao Tan, Kin Wai Cheuk, Taemin Cho, Wei-Hsiang Liao, Yuki Mitsufuji,
Abstract要約: 本稿では,SOTA(State-of-the-art)トークンに基づくマルチインストラクト自動音楽書き起こし(AMT)モデルであるMT3モデルの改良について述べる。本稿では, メモリ保持機構, 先行トークンサンプリング, トークンシャッフルなどの改良を加えたMR-MT3を提案する。これらの手法はSlakh2100データセットで評価され、改善されたF1スコアと楽器リークの低減を示す。
参考スコア（独自算出の注目度）: 15.856435702348977
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper presents enhancements to the MT3 model, a state-of-the-art (SOTA) token-based multi-instrument automatic music transcription (AMT) model. Despite SOTA performance, MT3 has the issue of instrument leakage, where transcriptions are fragmented across different instruments. To mitigate this, we propose MR-MT3, with enhancements including a memory retention mechanism, prior token sampling, and token shuffling are proposed. These methods are evaluated on the Slakh2100 dataset, demonstrating improved onset F1 scores and reduced instrument leakage. In addition to the conventional multi-instrument transcription F1 score, new metrics such as the instrument leakage ratio and the instrument detection F1 score are introduced for a more comprehensive assessment of transcription quality. The study also explores the issue of domain overfitting by evaluating MT3 on single-instrument monophonic datasets such as ComMU and NSynth. The findings, along with the source code, are shared to facilitate future work aimed at refining token-based multi-instrument AMT models.
Abstract（参考訳）: 本稿では,SOTA(State-of-the-art)トークンを用いたマルチインストラクト自動音楽書き起こし(AMT)モデルであるMT3モデルの改良について述べる。 SOTAの性能にもかかわらず、MT3は様々な楽器間で書き起こしが断片化される計器漏れの問題がある。これを軽減するため,メモリ保持機構,先行トークンサンプリング,トークンシャッフルといった拡張機能を備えたMR-MT3を提案する。これらの手法はSlakh2100データセットで評価され、改善されたF1スコアと楽器リークの低減を示す。従来の多構成転写F1スコアに加えて、計器リーク率や計器検出F1スコアなどの新しい指標を導入して、より包括的な転写品質の評価を行う。また,ComMUやNSynthのような単一構成単調データセット上でMT3を評価することにより,ドメインオーバーフィッティングの問題についても検討した。発見はソースコードとともに共有され,トークンベースの多機能AMTモデルの改良を目的とした今後の作業が促進される。

関連論文リスト

YourMT3+: Multi-instrument Music Transcription with Enhanced Transformer Architectures and Cross-dataset Stem Augmentation [15.9795868183084]
マルチストラクチャメント音楽の書き起こしは、ポリフォニック音楽の録音を各楽器に割り当てられた楽譜に変換することを目的としている。本稿では、マルチストラクチャメント音楽の書き起こし強化のためのモデルの組であるYourMT3+を紹介する。実験では,音声分離前処理装置の不要さを排除し,直接音声書き起こし機能を示す。
論文参考訳（メタデータ） (2024-07-05T19:18:33Z)
Exploring a Test Data-Driven Method for Selecting and Constraining Metamorphic Relations [46.889513596156185]
本稿では,メタトリマーの予備評価について述べる。メタトリマーは,テストデータに基づくメタモルフィック関係の選択と制約を行う手法である。 MetaTrimmerの新規性は、MRの適用性に関してラベル付きデータセットを必要とする複雑な予測モデルを避けることである。予備評価では、MetaTrimmerが既存の制限を克服し、MRの有効性を高める可能性を示している。
論文参考訳（メタデータ） (2023-07-28T12:27:34Z)
Jointist: Simultaneous Improvement of Multi-instrument Transcription and Music Source Separation via Joint Training [18.391476887027583]
ジョイントリスト(Jointist)は、複数の楽器を音声クリップから書き起こし、認識し、分離することのできる、楽器を意識した多構成のフレームワークである。ジョイントリストは、他の2つのモジュールを条件付ける楽器認識モジュールで構成されており、楽器固有のピアノロールを出力する転写モジュールと、楽器情報と転写結果を利用する音源分離モジュールである。
論文参考訳（メタデータ） (2023-02-01T07:35:02Z)
The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
論文参考訳（メタデータ） (2022-10-12T15:25:19Z)
Jointist: Joint Learning for Multi-instrument Transcription and Its Applications [15.921536323391226]
ジョイントリスト(Jointist)は、複数の楽器を音声クリップから書き起こし、認識し、分離することのできる、楽器を意識した多構成のフレームワークである。ジョイントリストは、他のモジュールを条件付ける楽器認識モジュールと、楽器固有のピアノロールを出力する転写モジュールと、楽器情報と転写結果を利用する音源分離モジュールから構成される。
論文参考訳（メタデータ） (2022-06-22T02:03:01Z)
Sparse Conditional Hidden Markov Model for Weakly Supervised Named Entity Recognition [68.68300358332156]
雑音ラベリング機能を評価するために,スパース条件付き隠れマルコフモデル(Sparse-CHMM)を提案する。 Sparse-CHMMは、3段階のトレーニングパイプラインで教師なし学習によって最適化される。 5つの包括的なデータセットで平均F1スコアが3.01向上する。
論文参考訳（メタデータ） (2022-05-27T20:47:30Z)
A Lightweight Instrument-Agnostic Model for Polyphonic Note Transcription and Multipitch Estimation [6.131772929312604]
楽器の書き起こしのための軽量ニューラルネットワークを提案する。我々のモデルは、フレームワイドのオンセット、乗算、ノートのアクティベーションを共同で予測するように訓練されている。ベンチマークの結果、我々のシステムのメモ推定は、同等のベースラインよりもかなり優れていることが示されています。
論文参考訳（メタデータ） (2022-03-18T12:07:36Z)
End-to-End Object Detection with Fully Convolutional Network [71.56728221604158]
エンドツーエンド検出を実現するために,分類のための予測対応ワン・ツー・ワン (POTO) ラベルの割り当てを導入する。局所領域における畳み込みの判別性を向上させるために, 簡易な3次元maxフィルタ(3dmf)を提案する。エンドツーエンドのフレームワークは,COCOおよびCrowdHumanデータセット上のNMSを用いて,最先端の多くの検出器と競合する性能を実現する。
論文参考訳（メタデータ） (2020-12-07T09:14:55Z)
Fast accuracy estimation of deep learning based multi-class musical source separation [79.10962538141445]
本稿では,ニューラルネットワークのトレーニングやチューニングを行うことなく,任意のデータセットにおける楽器の分離性を評価する手法を提案する。理想的な比マスクを持つオラクルの原理に基づいて、我々の手法は最先端のディープラーニング手法の分離性能を推定するための優れたプロキシである。
論文参考訳（メタデータ） (2020-10-19T13:05:08Z)
Transfer Learning for Motor Imagery Based Brain-Computer Interfaces: A Complete Pipeline [54.73337667795997]
移動学習(TL)は、新しい被験者の校正作業を減らすために、運動画像(MI)ベースの脳-コンピュータインタフェース(BCI)に広く用いられている。本稿では,MIベースのBCIの3つのコンポーネント(空間フィルタリング,特徴工学,分類)すべてにおいてTLが考慮できることを示す。
論文参考訳（メタデータ） (2020-07-03T23:44:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。