論文の概要: Of All StrIPEs: Investigating Structure-informed Positional Encoding for Efficient Music Generation

• arxiv url: http://arxiv.org/abs/2504.05364v1
• Date: Mon, 07 Apr 2025 11:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 04:34:25.016192
• Title: Of All StrIPEs: Investigating Structure-informed Positional Encoding for Efficient Music Generation
• Title（参考訳）: すべてのStrIPE:効率的な音楽生成のための構造インフォームド位置符号化の検討
• Authors: Manvi Agarwal, Changhong Wang, Gael Richard,
• Abstract要約: 効率的なPEの両ファミリを解析するためのカーネル手法に基づく統一的なフレームワークを提案する。 我々は,時間的シーケンスから因果関係を抽出できるRoPEと呼ばれる新しいPE手法を開発した。 経験的検証のために、私たちは象徴的な音楽生成タスク、すなわちメロディ調和を使用する。
• 参考スコア（独自算出の注目度）: 1.3108652488669736
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While music remains a challenging domain for generative models like Transformers, a two-pronged approach has recently proved successful: inserting musically-relevant structural information into the positional encoding (PE) module and using kernel approximation techniques based on Random Fourier Features (RFF) to lower the computational cost from quadratic to linear. Yet, it is not clear how such RFF-based efficient PEs compare with those based on rotation matrices, such as Rotary Positional Encoding (RoPE). In this paper, we present a unified framework based on kernel methods to analyze both families of efficient PEs. We use this framework to develop a novel PE method called RoPEPool, capable of extracting causal relationships from temporal sequences. Using RFF-based PEs and rotation-based PEs, we demonstrate how seemingly disparate PEs can be jointly studied by considering the content-context interactions they induce. For empirical validation, we use a symbolic music generation task, namely, melody harmonization. We show that RoPEPool, combined with highly-informative structural priors, outperforms all methods.
• Abstract（参考訳）: 音楽はトランスフォーマーのような生成モデルにとって困難な領域であり続けているが、最近2段階のアプローチが成功している: 位置符号化(PE)モジュールに音楽関連構造情報を挿入し、ランダムフーリエ特徴(RFF)に基づくカーネル近似技術を用いて、計算コストを2次から線形に下げる。 しかし、ロータリー位置エンコーディング(RoPE)のような回転行列に基づいて、そのようなRFFベースの効率的なPEがどのように比較されるかは明らかではない。 本稿では,効率的なPEの両ファミリを解析するためのカーネル手法に基づく統一的なフレームワークを提案する。 我々はこの枠組みを用いて、時間的シーケンスから因果関係を抽出できるRoPEPoolと呼ばれる新しいPE手法を開発した。 RFFに基づくPEと回転型PEを用いて、それらが引き起こす内容と文脈の相互作用を考慮し、異なるように見えるPEを共同で研究できることを実証する。 経験的検証のために、私たちは象徴的な音楽生成タスク、すなわちメロディ調和を使用する。 我々は,RoPEPoolと高度に非形式的な構造的先行性を組み合わせることで,すべての手法より優れた性能を示すことを示す。

関連論文リスト

• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• ComRoPE: Scalable and Robust Rotary Position Embedding Parameterized by Trainable Commuting Angle Matrices [25.99231204405503]
  トレーニング可能な通勤角行列で定義することで回転位置PE(RoPE)を一般化するComRoPEを提案する。 我々は、RoPE方程式の十分な解として、トレーニング可能な通勤角行列を2種類提示する。 我々のフレームワークは,既存の RoPE の定式化を一般化し,将来的な位置符号化研究のための新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-06-04T09:10:02Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• Prior Prompt Engineering for Reinforcement Fine-Tuning [16.695988860068315]
  我々は、強化微細チューニング(RFT)の文脈における先行プロンプトエンジニアリング(pPE)について検討する。 推論時プロンプトエンジニアリング (iPE) にヒントを得て, 推論, 計画, コードベース推論, 知識リコール, および null-example 利用の5つの戦略を対応する pPE アプローチに翻訳する。 以上の結果から,全てのpPE学習モデルがiPE学習モデルを上回ることがわかった。
  論文  参考訳（メタデータ） (2025-05-20T10:05:11Z)
• Unpacking Positional Encoding in Transformers: A Spectral Analysis of Content-Position Coupling [10.931433906211534]
  ポジショナルエンコーディング(PE)は、トランスフォーマーがシーケンシャルな構造をモデル化できるようにするために不可欠である。 本稿では,Toeplitzと関連する行列のスペクトル特性からPEを解析する統一フレームワークを提案する。 我々は, PE設計の鍵となる原理として, 相対配置Toeplitz信号を用いた明示的コンテンツ相対混合を確立する。
  論文  参考訳（メタデータ） (2025-05-19T12:11:13Z)
• F-StrIPE: Fast Structure-Informed Positional Encoding for Symbolic Music Generation [1.3108652488669736]
  本稿では,線形複雑度に作用する構造インフォームドPEスキームF-StrIPEを提案する。 記号音楽におけるメロディを用いたF-StrIPEの経験的メリットを解説する。
  論文  参考訳（メタデータ） (2025-02-14T13:15:18Z)
• Fast Gradient Computation for RoPE Attention in Almost Linear Time [27.28314860714307]
  我々は,RoPEに基づく有界エントリ下での逆方向の計算のための,最初のニアリニア時間アルゴリズムを開発した。 我々のアプローチは、高速なRoPEアテンション計算の最近の進歩に基づいている。
  論文  参考訳（メタデータ） (2024-12-23T06:20:22Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation [30.797422827190278]
  本稿ではロバスト適応法 (RoSA) と呼ばれる新しいPEFT法を提案する。 RoSAは、固定された事前トレーニングされた重みのセットの上に、$textitlow-rank$と$textithighly-sparse$コンポーネントをトレーニングする。 また,RoSAがLoRA,純スパース微調整,代替ハイブリット法を同じパラメータ予算で上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-09T17:09:01Z)
• NPEFF: Non-Negative Per-Example Fisher Factorization [52.44573961263344]
  エンド・ツー・エンドの微分可能モデルに容易に適用可能な,NPEFFと呼ばれる新しい解釈可能性手法を提案する。 我々はNPEFFが言語モデルと視覚モデルの実験を通して解釈可能なチューニングを持つことを実証した。
  論文  参考訳（メタデータ） (2023-10-07T02:02:45Z)
• ASR: Attention-alike Structural Re-parameterization [53.019657810468026]
  本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。 本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
  論文  参考訳（メタデータ） (2023-04-13T08:52:34Z)
• Learning a Fourier Transform for Linear Relative Positional Encodings in Transformers [71.32827362323205]
  我々はLearner-Transformer (Learners)と呼ばれる線形変換器の新しいクラスを提案する。 様々な相対的位置エンコーディング機構(RPE)を組み込んでいる。 これらには、シーケンシャルデータに適用される正規の RPE 技術や、高次元ユークリッド空間に埋め込まれた幾何学的データを操作する新しい RPE などが含まれる。
  論文  参考訳（メタデータ） (2023-02-03T18:57:17Z)
• IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation [44.04110765492441]
  我々は高速中間フレーム合成のための効率的なエンコーダデコーダベースネットワーク IFRNet を考案した。 様々なベンチマークの実験では、提案手法の優れた性能と高速な推論速度が示されている。
  論文  参考訳（メタデータ） (2022-05-29T10:18:18Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• A Generalizable Model-and-Data Driven Approach for Open-Set RFF Authentication [74.63333951647581]
  高周波指紋(RFF)は、低コストな物理層認証を実現するための有望な解決策である。 RFF抽出と識別のために機械学習に基づく手法が提案されている。 生受信信号からRFFを抽出するエンド・ツー・エンドのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-10T03:59:37Z)
• Relative Positional Encoding for Transformers with Linear Complexity [30.48367640796256]
  古典的なトランスフォーマーには、相対的位置符号化(RPE)が有用である。 RPEは、注意行列の明示的な計算を必要とするため、最近のTransformerの線形変種では利用できない。 本論文では,古典的添加剤(正弦波型)PEの代替として用いることができ,RPEのように振る舞うことができるPEの正確な生成方法について述べる。
  論文  参考訳（メタデータ） (2021-05-18T09:52:32Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。