Fugu-MT 論文翻訳(概要): F-StrIPE: Fast Structure-Informed Positional Encoding for Symbolic Music Generation

論文の概要: F-StrIPE: Fast Structure-Informed Positional Encoding for Symbolic Music Generation

arxiv url: http://arxiv.org/abs/2502.10491v1
Date: Fri, 14 Feb 2025 13:15:18 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-18 14:13:51.374109
Title: F-StrIPE: Fast Structure-Informed Positional Encoding for Symbolic Music Generation
Title（参考訳）: F-StrIPE:シンボリック音楽生成のための高速構造変換位置符号化
Authors: Manvi Agarwal, Changhong Wang, Gael Richard,
Abstract要約: 本稿では,線形複雑度に作用する構造インフォームドPEスキームF-StrIPEを提案する。記号音楽におけるメロディを用いたF-StrIPEの経験的メリットを解説する。
参考スコア（独自算出の注目度）: 1.3108652488669736
License:
Abstract: While music remains a challenging domain for generative models like Transformers, recent progress has been made by exploiting suitable musically-informed priors. One technique to leverage information about musical structure in Transformers is inserting such knowledge into the positional encoding (PE) module. However, Transformers carry a quadratic cost in sequence length. In this paper, we propose F-StrIPE, a structure-informed PE scheme that works in linear complexity. Using existing kernel approximation techniques based on random features, we show that F-StrIPE is a generalization of Stochastic Positional Encoding (SPE). We illustrate the empirical merits of F-StrIPE using melody harmonization for symbolic music.
Abstract（参考訳）: 音楽はトランスフォーマーのような生成モデルにとって困難な領域であり続けているが、近年の進歩は、適切な音楽的にインフォームドされた先行モデルを活用することでなされている。トランスフォーマーにおける音楽構造に関する情報を活用する手法の1つは、位置符号化(PE)モジュールにそのような知識を挿入することである。しかし、トランスフォーマーはシークエンス長の2次コストを担っている。本稿では,線形複雑度に作用する構造インフォームドPEスキームであるF-StrIPEを提案する。既存のカーネル近似手法を用いて,F-StrIPEが確率的位置符号化(SPE)の一般化であることを示す。記号音楽におけるメロディ調和を用いたF-StrIPEの経験的メリットについて述べる。

関連論文リスト

Music102: An $D_{12}$-equivariant transformer for chord progression accompaniment [0.0]
Music102は、D12等価変圧器によるコード進行伴奏を強化する。先行する音楽知識を符号化することにより、モデルはメロディとコードシーケンスの双方で等価性を維持する。この研究は、離散音楽領域への自己注意機構と層正規化の適応性を示す。
論文参考訳（メタデータ） (2024-10-23T03:11:01Z)
End-to-end Piano Performance-MIDI to Score Conversion with Transformers [26.900974153235456]
実世界のピアノ演奏-MIDIファイルから直接詳細な楽譜を構築するエンド・ツー・エンドのディープ・ラーニング・アプローチを提案する。シンボリック・ミュージック・データのための新しいトークン化表現を備えたモダン・トランスフォーマー・ベース・アーキテクチャを提案する。また,本手法は,演奏データからトリルマークやステム方向などの表記法の詳細を直接予測する最初の方法でもある。
論文参考訳（メタデータ） (2024-09-30T20:11:37Z)
Structure-informed Positional Encoding for Music Generation [0.0]
トランスフォーマーを用いた音楽生成のための構造インフォームド位置符号化フレームワークを提案する。我々は、次のステップ予測と伴奏生成という2つのシンボリックな音楽生成タスクでそれらをテストした。提案手法は, 生成した部品の旋律的および構造的整合性を改善する。
論文参考訳（メタデータ） (2024-02-20T13:41:35Z)
Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
論文参考訳（メタデータ） (2023-02-03T18:57:17Z)
A K-variate Time Series Is Worth K Words: Evolution of the Vanilla Transformer Architecture for Long-term Multivariate Time Series Forecasting [52.33042819442005]
トランスフォーマーはMTSFのデファクトソリューションとなっている。本研究では,MTSFトランスフォーマーアーキテクチャにおける現在のトークン化戦略がトランスフォーマーのトークン帰納バイアスを無視していることを指摘した。バニラMTSF変圧器の基本構造について一連の進化を行った。驚いたことに、進化した単純変圧器アーキテクチャは非常に効果的であり、バニラMTSF変圧器の過密現象を回避することに成功している。
論文参考訳（メタデータ） (2022-12-06T07:00:31Z)
A Domain-Knowledge-Inspired Music Embedding Space and a Novel Attention Mechanism for Symbolic Music Modeling [0.0]
バイアス調整された正弦波符号化に基づく記号音楽のための基本音楽埋め込み(FME)を提案する。提案するFMEを利用して, 相対指数, ピッチ, オンセット埋め込みに基づく新しいアテンション機構を提案する。 RIPO変圧器は最先端の変圧器よりも優れた性能を示す。
論文参考訳（メタデータ） (2022-12-02T05:04:31Z)
Your Transformer May Not be as Powerful as You Expect [88.11364619182773]
連続列列列関数を近似できるかどうかに関して, RPE ベースの変換器のパワーを数学的に解析する。 RPEをベースとしたトランスフォーマーでは,ニューラルネットワークの深さや幅がどんなに深くても近似できない連続列列列列関数が存在することを示す。我々は,その条件を満たす,Universal RPE-based (URPE) Attentionと呼ばれる新しいアテンションモジュールを開発する。
論文参考訳（メタデータ） (2022-05-26T14:51:30Z)
Symphony Generation with Permutation Invariant Language Model [57.75739773758614]
変分不変言語モデルに基づくシンフォニーネットという記号的シンフォニー音楽生成ソリューションを提案する。シンフォニートークンの超長いシーケンスをモデル化するためのバックボーンとして、新しいトランスフォーマーデコーダアーキテクチャが導入された。実験結果から,提案手法は人間の構成と比べ,コヒーレント,新規,複雑,調和的な交響曲を生成できることが示唆された。
論文参考訳（メタデータ） (2022-05-10T13:08:49Z)
Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文参考訳（メタデータ） (2022-03-27T15:25:58Z)
Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
論文参考訳（メタデータ） (2021-06-23T17:51:26Z)
Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions [37.66340344198797]
我々は、既存のトランスフォーマーモデルよりも優れたリズム構造でポップピアノ音楽を構成するポップ・ミュージック・トランスフォーマーを構築した。特に、入力データにメートル法構造を課すことにより、トランスフォーマーは音楽のビートバーフレーズ階層構造をより容易に認識できるようにする。
論文参考訳（メタデータ） (2020-02-01T14:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。