論文の概要: Improving BERT for Symbolic Music Understanding Using Token Denoising and Pianoroll Prediction

• arxiv url: http://arxiv.org/abs/2507.04776v1
• Date: Mon, 07 Jul 2025 08:52:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.340539
• Title: Improving BERT for Symbolic Music Understanding Using Token Denoising and Pianoroll Prediction
• Title（参考訳）: Token Denoising と Pianoroll 予測を用いたシンボリック音楽理解のためのBERTの改良
• Authors: Jun-You Wang, Li Su,
• Abstract要約: 本稿では,様々なダウンストリームタスクの競合性能を実現するための,BERTライクなシンボリック音楽理解モデルを提案する。 我々はトークン補正とピアノロール予測という2つの新しい事前学習目標を設計する。 その結果,提案した事前学習目標が下流作業に有効であることが確認された。
• 参考スコア（独自算出の注目度）: 5.312669443618382
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a pre-trained BERT-like model for symbolic music understanding that achieves competitive performance across a wide range of downstream tasks. To achieve this target, we design two novel pre-training objectives, namely token correction and pianoroll prediction. First, we sample a portion of note tokens and corrupt them with a limited amount of noise, and then train the model to denoise the corrupted tokens; second, we also train the model to predict bar-level and local pianoroll-derived representations from the corrupted note tokens. We argue that these objectives guide the model to better learn specific musical knowledge such as pitch intervals. For evaluation, we propose a benchmark that incorporates 12 downstream tasks ranging from chord estimation to symbolic genre classification. Results confirm the effectiveness of the proposed pre-training objectives on downstream tasks.
• Abstract（参考訳）: 本稿では,様々なダウンストリームタスクにおける競争性能を実現するための,記号的音楽理解のための事前学習されたBERT様モデルを提案する。 この目標を達成するために、トークン補正とピアノロール予測という2つの新しい事前学習目標を設計する。 まず、音符の一部をサンプリングし、限られたノイズで分解し、次に、劣化した音符を飾るためにモデルを訓練し、次に、劣化した音符からバーレベルおよび局所ピアノロール由来の表現を予測するようモデルを訓練する。 これらの目的は,ピッチ間隔などの特定の音楽知識をよりよく学習するためのモデルである,と我々は主張する。 評価のために、コード推定からシンボリックジャンル分類まで12の下流タスクを組み込んだベンチマークを提案する。 その結果,提案した事前学習目標が下流作業に有効であることが確認された。

関連論文リスト

• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Zero-shot Musical Stem Retrieval with Joint-Embedding Predictive Architectures [3.463789345862036]
  本稿では,コンテキストの潜在表現を生成するために,エンコーダと予測器を協調訓練する,結合埋め込み予測アーキテクチャに基づく新しい手法を提案する。 特に,任意の楽器に条件付けした予測器を設計し,ゼロショットステム検索を行えるようにした。 MUSDB18とMoisesDBデータセットを用いて,本モデルの検索性能を検証する。
  論文  参考訳（メタデータ） (2024-11-29T16:11:47Z)
• One-bit Supervision for Image Classification: Problem, Solution, and Beyond [114.95815360508395]
  本稿では,ラベルの少ない新しい学習環境である,画像分類のための1ビット監督について述べる。 多段階学習パラダイムを提案し、負ラベル抑圧を半教師付き半教師付き学習アルゴリズムに組み込む。 複数のベンチマークにおいて、提案手法の学習効率は、フルビットの半教師付き監視手法よりも優れている。
  論文  参考訳（メタデータ） (2023-11-26T07:39:00Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Checklist Models for Improved Output Fluency in Piano Fingering Prediction [33.52847881359949]
  ピアノ音楽の指先予測のための新しい手法を提案する。 我々は、近年の予測の表現を維持する強化学習を通じて訓練されたチェックリストシステムを提案する。 これらの指標に対する改善に直接寄与する性能の顕著な向上を示す。
  論文  参考訳（メタデータ） (2022-09-12T21:27:52Z)
• Unsupervised Symbolic Music Segmentation using Ensemble Temporal Prediction Errors [19.39375155501102]
  シンボリック音楽のセグメンテーションのための教師なし手法を提案する。 提案モデルは,時間的予測誤差モデルのアンサンブルに基づく。 結果は,提案手法がEssen Folksongデータセット上で最先端の性能に達することを示唆している。
  論文  参考訳（メタデータ） (2022-07-02T07:13:54Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• BERT-like Pre-training for Symbolic Piano Music Classification Tasks [15.02723006489356]
  本稿では,BERT (Bidirectional Representations from Transformers) を用いたシンボリックピアノ音楽分類のベンチマーク研究について述べる。 BERT手法を用いて2つの12層トランスフォーマーモデルを事前訓練し、4つの下流分類タスクでそれらを微調整する。 評価の結果,BERTアプローチはリカレントニューラルネットワーク(RNN)ベースラインよりも高い分類精度が得られた。
  論文  参考訳（メタデータ） (2021-07-12T07:03:57Z)
• Robustness of Accuracy Metric and its Inspirations in Learning with Noisy Labels [51.66448070984615]
  十分な数の雑音サンプルに対してトレーニング精度を最大化すると,ほぼ最適な分類器が得られることを示す。 検証のために、ノイズの多い検証セットが信頼できることを証明し、モデル選択のクリティカルな要求に対処する。 理論結果に動機づけられて,ノイズラベルをトレーニングしたモデルの特徴付けを行い,ノイズ検証セットの有用性を検証する。
  論文  参考訳（メタデータ） (2020-12-08T03:37:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。