論文の概要: Equivariant Music Transformer

• arxiv url: http://arxiv.org/abs/2608.03920v1
• Date: Tue, 04 Aug 2026 16:51:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.285693
• Title: Equivariant Music Transformer
• Title（参考訳）: Equivariant Music Transformer
• Abstract要約: 標準音楽変換器は、時間シフトやピッチ変換による入力を非相関表現にマッピングする。 これは、共有された音楽構造を捉えるのではなく、絶対的なパターンを記憶するために追加のモデル容量が割り当てられていることを示唆している。 本研究では, 自己蒸留により等価な音楽変換を行うEquivariant Music Transformer (EMT)を提案する。
• 参考スコア（独自算出の注目度）: 12.784257850736372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans recognize a musical passage even when it is shifted in time or transposed in pitch, indicating a notion of equivariance in the representation space. Our analysis, however, shows that standard music transformers map such time-shifted or pitch-transposed inputs onto uncorrelated representations: these models become progressively less equivariant as they scale in size or train longer. This suggests that in standard music transformers, additional model capacity is allocated to memorizing absolute patterns rather than capturing shared musical structures. In this paper, we propose the Equivariant Music Transformer (EMT), which enforces equivariance through self-distillation by jointly optimizing a next-token-prediction and an auxiliary equivariance regularization loss. We find that the additional equivariance loss acts as a beneficial regularizer, simultaneously improving next-token prediction and producing equivariant latent representations. Through both objective and subjective evaluations, EMT demonstrates superior equivariance and generative capability compared to data augmentation, feature engineering, and state-of-the-art (SOTA) baselines. More broadly, our findings reveal that standard language modeling methods alone do not capture music's translational symmetries, and dedicated inductive biases are required to produce better music representations. The code, weights and demos are available online.
• Abstract（参考訳）: 人間は、時間に移動したり、ピッチに変換されたりしても音楽の通路を認識し、表現空間における同値の概念を示す。 しかし,我々の分析では,標準音楽トランスフォーマーは,時間変化やピッチ変換といった入力を非相関表現にマッピングする。 これは、標準的な音楽変換器において、共有された音楽構造をキャプチャするよりも絶対的なパターンを記憶するために追加のモデル容量が割り当てられていることを示唆している。 本稿では,次トーケン予測と準同値正規化損失を共同で最適化することにより,自己蒸留による等価性を実現するEquivariant Music Transformer (EMT)を提案する。 付加的等分散損失は有益な正則化器として機能し、同時に次トーケン予測を改善し、同変潜在表現を生成する。 客観評価と主観評価の両方を通じて、EMTはデータ拡張、特徴工学、最先端(SOTA)ベースラインと比較して、優れた同値性と生成能力を示す。 より広義には、標準言語モデリング手法だけでは音楽の翻訳対称性を捉えず、より優れた音楽表現を生み出すためには専用の帰納的バイアスが必要であることが判明した。 コード、ウェイト、デモはオンラインで公開されている。

関連論文リスト

• Emergent musical properties of a transformer under contrastive self-supervised learning [8.007443439979944]
  時間周波数領域の1次元パッチで視覚変換器を訓練する。 ウェイトシェアリングにより、VT-1Dのシーケンストークンに情報的音楽特性が出現する可能性があることを観察する。 本論文は,パフォーマンス向上ではなく,変圧器の音楽解釈の進歩に焦点をあてる。
  論文  参考訳（メタデータ） (2025-06-30T14:04:59Z)
• Music102: An $D_{12}$-equivariant transformer for chord progression accompaniment [0.0]
  Music102は、$D_12$-equivariant Transformerによるコード進行伴奏の強化を目的とした高度なモデルである。 グループ理論とシンボリック音楽構造にインスパイアされたMusic102は、トランスポジションやリフレクション操作のような音楽対称性を活用し、これらの特性をトランスフォーマーアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2024-10-23T03:11:01Z)
• Differential Transformer [99.5117269150629]
  トランスフォーマーは、無関係な文脈に注意を向ける傾向がある。 Diff Transformerを導入し、ノイズをキャンセルしながら関連するコンテキストに注意を向ける。 ロングコンテキストモデリング、キー情報検索、幻覚緩和、インコンテキスト学習、アクティベーションアウトリーの削減など、実用的な応用において顕著な利点がある。
  論文  参考訳（メタデータ） (2024-10-07T17:57:38Z)
• Masked Mixers for Language Generation and Retrieval [0.0]
  我々は、トランスにおける入力表現精度の低下と、マスクミキサーと呼ばれるものにおけるより正確な表現を観察する。 小型のマスクミキサーは、最先端のトランスフォーマーベース検索モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-02T22:17:18Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Grounding inductive biases in natural images:invariance stems from variations in data [20.432568247732206]
  本研究では,実際のデータセットであるImageNetの変動要因について検討する。 標準的な拡張は、翻訳とスケールの正確な組み合わせに依存していることを示す。 ImageNetの変動の主な要因は外見に大きく関係していることがわかりました。
  論文  参考訳（メタデータ） (2021-06-09T14:58:57Z)
• Relative Positional Encoding for Speech Recognition and Direct Translation [72.64499573561922]
  相対位置符号化方式を音声変換器に適用する。 その結果,ネットワークは音声データに存在する変動分布に適応できることがわかった。
  論文  参考訳（メタデータ） (2020-05-20T09:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。