論文の概要: Of All StrIPEs: Investigating Structure-informed Positional Encoding for Efficient Music Generation

• arxiv url: http://arxiv.org/abs/2504.05364v1
• Date: Mon, 07 Apr 2025 11:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 04:34:25.016192
• Title: Of All StrIPEs: Investigating Structure-informed Positional Encoding for Efficient Music Generation
• Title（参考訳）: すべてのStrIPE:効率的な音楽生成のための構造インフォームド位置符号化の検討
• Authors: Manvi Agarwal, Changhong Wang, Gael Richard,
• Abstract要約: 効率的なPEの両ファミリを解析するためのカーネル手法に基づく統一的なフレームワークを提案する。 我々は,時間的シーケンスから因果関係を抽出できるRoPEと呼ばれる新しいPE手法を開発した。 経験的検証のために、私たちは象徴的な音楽生成タスク、すなわちメロディ調和を使用する。
• 参考スコア（独自算出の注目度）: 1.3108652488669736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While music remains a challenging domain for generative models like Transformers, a two-pronged approach has recently proved successful: inserting musically-relevant structural information into the positional encoding (PE) module and using kernel approximation techniques based on Random Fourier Features (RFF) to lower the computational cost from quadratic to linear. Yet, it is not clear how such RFF-based efficient PEs compare with those based on rotation matrices, such as Rotary Positional Encoding (RoPE). In this paper, we present a unified framework based on kernel methods to analyze both families of efficient PEs. We use this framework to develop a novel PE method called RoPEPool, capable of extracting causal relationships from temporal sequences. Using RFF-based PEs and rotation-based PEs, we demonstrate how seemingly disparate PEs can be jointly studied by considering the content-context interactions they induce. For empirical validation, we use a symbolic music generation task, namely, melody harmonization. We show that RoPEPool, combined with highly-informative structural priors, outperforms all methods.
• Abstract（参考訳）: 音楽はトランスフォーマーのような生成モデルにとって困難な領域であり続けているが、最近2段階のアプローチが成功している: 位置符号化(PE)モジュールに音楽関連構造情報を挿入し、ランダムフーリエ特徴(RFF)に基づくカーネル近似技術を用いて、計算コストを2次から線形に下げる。 しかし、ロータリー位置エンコーディング(RoPE)のような回転行列に基づいて、そのようなRFFベースの効率的なPEがどのように比較されるかは明らかではない。 本稿では,効率的なPEの両ファミリを解析するためのカーネル手法に基づく統一的なフレームワークを提案する。 我々はこの枠組みを用いて、時間的シーケンスから因果関係を抽出できるRoPEPoolと呼ばれる新しいPE手法を開発した。 RFFに基づくPEと回転型PEを用いて、それらが引き起こす内容と文脈の相互作用を考慮し、異なるように見えるPEを共同で研究できることを実証する。 経験的検証のために、私たちは象徴的な音楽生成タスク、すなわちメロディ調和を使用する。 我々は,RoPEPoolと高度に非形式的な構造的先行性を組み合わせることで,すべての手法より優れた性能を示すことを示す。

関連論文リスト

• F-StrIPE: Fast Structure-Informed Positional Encoding for Symbolic Music Generation [1.3108652488669736]
  本稿では,線形複雑度に作用する構造インフォームドPEスキームF-StrIPEを提案する。 記号音楽におけるメロディを用いたF-StrIPEの経験的メリットを解説する。
  論文  参考訳（メタデータ） (2025-02-14T13:15:18Z)
• Fast Gradient Computation for RoPE Attention in Almost Linear Time [27.28314860714307]
  我々は,RoPEに基づく有界エントリ下での逆方向の計算のための,最初のニアリニア時間アルゴリズムを開発した。 我々のアプローチは、高速なRoPEアテンション計算の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-12-23T06:20:22Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation [30.797422827190278]
  本稿ではロバスト適応法 (RoSA) と呼ばれる新しいPEFT法を提案する。 RoSAは、固定された事前トレーニングされた重みのセットの上に、$textitlow-rank$と$textithighly-sparse$コンポーネントをトレーニングする。 また,RoSAがLoRA,純スパース微調整,代替ハイブリット法を同じパラメータ予算で上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-09T17:09:01Z)
• NPEFF: Non-Negative Per-Example Fisher Factorization [52.44573961263344]
  エンド・ツー・エンドの微分可能モデルに容易に適用可能な,NPEFFと呼ばれる新しい解釈可能性手法を提案する。 我々はNPEFFが言語モデルと視覚モデルの実験を通して解釈可能なチューニングを持つことを実証した。
  論文  参考訳（メタデータ） (2023-10-07T02:02:45Z)
• ASR: Attention-alike Structural Re-parameterization [53.019657810468026]
  本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。 本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
  論文  参考訳（メタデータ） (2023-04-13T08:52:34Z)
• Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
  我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。 様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。 これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
  論文  参考訳（メタデータ） (2023-02-03T18:57:17Z)
• IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation [44.04110765492441]
  我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
  論文  参考訳（メタデータ） (2022-05-29T10:18:18Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• A Generalizable Model-and-Data Driven Approach for Open-Set RFF Authentication [74.63333951647581]
  高周波指紋(RFF)は、低コストな物理層認証を実現するための有望な解決策である。 RFF抽出と識別のために機械学習に基づく手法が提案されている。 生受信信号からRFFを抽出するエンド・ツー・エンドのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-10T03:59:37Z)
• Relative Positional Encoding for Transformers with Linear Complexity [30.48367640796256]
  古典的なトランスフォーマーには、相対的位置符号化(RPE)が有用である。 RPEは、注意行列の明示的な計算を必要とするため、最近のTransformerの線形変種では利用できない。 本論文では,古典的添加剤(正弦波型)PEの代替として用いることができ,RPEのように振る舞うことができるPEの正確な生成方法について述べる。
  論文  参考訳（メタデータ） (2021-05-18T09:52:32Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。