論文の概要: Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding

• arxiv url: http://arxiv.org/abs/2606.01258v1
• Date: Sun, 31 May 2026 14:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.482458
• Title: Beyond Sinusoids: A Morlet Wavelet Framework for Transformer Positional Encoding
• Title（参考訳）: Beyond Sinusoids: トランスフォーマー位置エンコーディングのためのMorlet Waveletフレームワーク
• Authors: Athanasios Zeris,
• Abstract要約: 我々は、モーレットウェーブレットが位置符号化の自然な基礎であり、モーレット位置次元(MoPE)を導入することを提案する。 MoPEはデータから独自の周波数と局所帯域を学習する。 MoPEの位相はRoPE回転角を正確に回復し、振幅は標準符号化に欠けている学習されたガウスカーネルを追加する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard positional encodings for transformers - sinusoidal and rotary (RoPE) - treat every position as equally local: they encode where a token is, but not how far its positional influence should extend. We propose that the Morlet wavelet, which simultaneously minimises uncertainty in position and frequency, is the natural basis for positional encoding, and introduce Morlet Positional Encoding (MoPE): each embedding dimension learns its own frequency and locality bandwidth from data. The main theoretical result is a unification: sinusoidal PE and the RoPE correlation kernel both emerge as limiting cases of MoPE when locality is switched off (sigma_i -> infinity). The phase of MoPE recovers the RoPE rotation angle exactly; the amplitude adds a learned Gaussian locality kernel that standard encodings lack. Empirically, MoPE combined with Energy-Gated Attention achieves +0.119 improvement over standard attention on TinyShakespeare, outperforming either component alone. Analysis of the learned parameters reveals that all 128 frequency-bandwidth pairs converge to the wavelet admissibility boundary - an empirical observation consistent with a companion result on energy gating, suggesting a reproducible property of character-level language signals that warrants further investigation.
• Abstract（参考訳）: 変圧器の標準的な位置符号化 - 正弦波および回転 (RoPE) は、全ての位置を等局所的に扱い、トークンがどこにあるかをエンコードするが、その位置の影響がどこまで広がるかは明らかにしない。 本研究では、位置と周波数の不確実性を同時に最小化するMorlet Waveletを提案し、各埋め込み次元がデータから独自の周波数と局所帯域を学習するMorlet Positional Encoding (MoPE)を導入する。 sinusoidal PE と RoPE 相関カーネルはどちらも局所性をオフにすると MoPE の制限ケースとして現れる(sigma_i -> infinity)。 MoPEの位相はRoPE回転角を正確に回復し、振幅は標準符号化に欠けている学習されたガウス局所性カーネルを追加する。 実証的に、MoPEとEnergy-Gated Attentionを組み合わせることで、TinyShakespeareの標準的関心よりも0.119以上の改善が達成され、どちらのコンポーネントよりも優れている。 学習パラメータの解析により、全ての128個の周波数帯域対がウェーブレット許容境界(エネルギーゲーティングにおける相補的な結果と一致する経験的観察)に収束し、さらなる調査を保証している文字レベル言語信号の再現可能な性質が示唆された。

関連論文リスト

• Energy-Gated Attention and Wavelet Positional Encoding: Complementary Inductive Biases for Transformer Attention [0.0]
  標準的な注意力に欠ける2つの相補的帰納バイアスを同定する。 正当性と局所性は相補的帰納バイアスであり、それぞれが単独では満たせないギャップに対処する。 この超添加性は、2つの独立したトレーニングランで観察され、中心的な経験的発見である。
  論文  参考訳（メタデータ） (2026-05-25T22:04:31Z)
• Untwisting RoPE: Frequency Control for Shared Attention in DiTs [84.14005261938284]
  位置符号化はトランスフォーマーベースの生成モデルに不可欠である。 ロータリー・ポジショナル・エンベディング (RoPE) は, 異なる位置感性を有する周波数成分に自然に分解されることを示す。 本稿では,厳密な位置アライメントよりも意味的類似性を反映するように,RoPE周波数帯域を選択的に変調する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:01:59Z)
• PAS: A Training-Free Stabilizer for Temporal Encoding in Video LLMs [57.790910044227935]
  ビデオLLMは時間的不整合に悩まされ、フレームタイミングの小さなシフトは注意をそらすことができ、関連するフレームを抑えることができる。 本稿では, 位相アグリゲード平滑化(PAS)について述べる。これは, 頭部に小さな反対位相オフセットを適用して, 出力を集約する学習自由機構である。 解析の結果,RoPE回転ロジットは,時間核でスケールしたコンテントドット積として近似でき,このカーネルを滑らかにすることで,小さな時間シフトに対する注意のリプシッツ安定性が得られ,マルチフェーズ平均化は,Nyquist-valid サンプリング下での頭当たりスペクトルを保ちながら高周波リップルを減衰させることがわかった。
  論文  参考訳（メタデータ） (2025-11-14T05:56:47Z)
• DoPE: Denoising Rotary Position Embedding [60.779039511252584]
  トランスフォーマーモデルにおける回転位置埋め込み(RoPE)は、長さを弱める固有の限界を持つ。 ノイズのある特徴写像として位置符号化を用いたアテンションマップを再解釈し、位置補間ページ(DoPE)を提案する。 DoPEは、トランカテッド行列エントロピーに基づくトレーニング不要な手法であり、特徴写像における外乱周波数帯域を検出する。
  論文  参考訳（メタデータ） (2025-11-12T09:32:35Z)
• Do traveling waves make good positional encodings? [44.55744608160896]
  移動波に基づく新しい位置符号化機構であるRollPEを提案する。 従来の絶対的な位置埋め込みよりもはるかに優れていることを示す。 我々は、RolePEの数学的等価性を、RoPEの特定の構成に導出する。
  論文  参考訳（メタデータ） (2025-11-11T14:32:45Z)
• Decoupling Positional and Symbolic Attention Behavior in Transformers [40.15480480887269]
  トランスフォーマーでは、位置情報は位置 s (PE) を用いて符号化される 近年、RoPEの成功の一部は、大小の周波数を用いて、ロバストな位置情報や意味情報をエンコードする能力から生じると論じられている。
  論文  参考訳（メタデータ） (2025-10-03T01:31:15Z)
• Context-aware Rotary Position Embedding [0.0]
  RoPE(Rotary Positional Embeddings)は、相対的な位置符号化と計算効率との互換性から広く採用されている。 トークン埋め込みを前提とした頭部特異的な周波数パターンを動的に生成するRoPEの新たな一般化であるCARoPE(Context-Aware Rotary Positional Embedding)を提案する。 CaroPEは、RoPEや他の一般的な位置符号化ベースラインを一貫して上回り、より長いコンテキスト長でも非常に低いパープレキシティを実現している。
  論文  参考訳（メタデータ） (2025-07-30T20:32:19Z)
• PaTH Attention: Position Encoding via Accumulating Householder Transformations [56.32365080761523]
  PaTHは、ハウステリア変換の累積積に基づいて、フレキシブルなデータ依存位置符号化方式である。 家庭用行列の積をコンパクトに表現することで,効率的な並列学習アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-05-22T08:36:09Z)
• SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement [118.20816888815658]
  SPE-Netという名前の3Dポイントクラウドアプリケーションに適した新しいディープアーキテクチャを提案する。 埋め込みSelective Position variant' の手順は、入力の根底にある回転条件に効果的に対応できる注意機構に依存している。 SPE-Netと関連する仮説の利点を4つのベンチマークで示し、SOTA法よりも回転試験データと回転試験データの両方に明らかな改善点を示した。
  論文  参考訳（メタデータ） (2022-11-15T15:59:09Z)
• Deep Reinforcement Learning for IRS Phase Shift Design in Spatiotemporally Correlated Environments [93.30657979626858]
  本稿では,チャネル相関と目的地動きを考慮したディープアクター批判アルゴリズムを提案する。 チャネルが時間的に相関している場合、コンバージェンスを抑制する方法において、関数近似を伴う状態表現にSNRを組み込むことが示される。
  論文  参考訳（メタデータ） (2022-11-02T22:07:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。