論文の概要: Beyond Position: the emergence of wavelet-like properties in Transformers

• arxiv url: http://arxiv.org/abs/2410.18067v3
• Date: Tue, 21 Jan 2025 17:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:47.559913
• Title: Beyond Position: the emergence of wavelet-like properties in Transformers
• Title（参考訳）: Beyond Position: Transformerにおけるウェーブレットライクな特性の出現
• Authors: Valeria Ruscio, Fabrizio Silvestri,
• Abstract要約: 本稿では, ロータリー位置埋め込み(RoPE)の理論的限界を効果的に補償する頑健なウェーブレット様特性をトランスフォーマーモデルがいかに発展させるかを検討する。 本研究では,ウェーブレット変換に類似したマルチレゾリューション処理を実装するために,注目ヘッドが自然に進化することを示す。
• 参考スコア（独自算出の注目度）: 7.3645788720974465
• License:
• Abstract: This paper studies how transformer models develop robust wavelet-like properties that effectively compensate for the theoretical limitations of Rotary Position Embeddings (RoPE), providing insights into how these networks process sequential information across different scales. Through theoretical analysis and empirical validation across models ranging from 1B to 12B parameters, we show that attention heads naturally evolve to implement multi-resolution processing analogous to wavelet transforms. Our analysis establishes that attention heads consistently organize into complementary frequency bands with systematic power distribution patterns, and these wavelet-like characteristics become more pronounced in larger models. We provide mathematical analysis showing how these properties align with optimal solutions to the fundamental uncertainty principle between positional precision and frequency resolution. Our findings suggest that the effectiveness of modern transformer architectures stems significantly from their development of optimal multi-resolution decompositions that naturally address the theoretical constraints of position encoding.
• Abstract（参考訳）: 本稿では,ロタリー位置埋め込み(RoPE)の理論的制約を効果的に補うために,トランスフォーマーモデルが頑健なウェーブレットライクな特性をいかに生み出すかを検討する。 1B から 12B のパラメータを含むモデル間の理論的解析と経験的検証により、注目ヘッドが自然に進化し、ウェーブレット変換に類似したマルチレゾリューション処理を実装することを示す。 分析により,アテンションヘッドは系統的な配電パターンを持つ相補的な周波数帯域に一貫して構成され,これらのウェーブレットのような特性はより大きなモデルでより顕著になることが示された。 本稿では,これらの特性が位置精度と周波数分解能の基本的な不確実性原理に対する最適解とどのように一致しているかを数学的に解析する。 この結果から, 現代のトランスフォーマーアーキテクチャの有効性は, 位置符号化の理論的制約に自然に対処する最適多分解分解法の開発に大きく影響することが示唆された。

関連論文リスト

• Tight Stability, Convergence, and Robustness Bounds for Predictive Coding Networks [60.3634789164648]
  予測符号化(PC)のようなエネルギーベースの学習アルゴリズムは、機械学習コミュニティにおいて大きな注目を集めている。 動的システム理論のレンズを用いて,PCの安定性,堅牢性,収束性を厳密に解析する。
  論文  参考訳（メタデータ） (2024-10-07T02:57:26Z)
• A Unified Framework for Interpretable Transformers Using PDEs and Information Theory [3.4039202831583903]
  本稿では、部分微分方程式(PDE)、ニューラルインフォメーションフロー理論、インフォメーション・ボトルネック理論を統合することでトランスフォーマーアーキテクチャを理解するための新しい統合理論フレームワークを提案する。 我々は、拡散、自己注意、非線形残留成分を含む連続的なPDEプロセスとしてトランスフォーマー情報力学をモデル化する。 画像およびテキストのモーダル性に関する包括的実験により、PDEモデルはトランスフォーマーの挙動の重要な側面を効果的に捉え、トランスフォーマーの注意分布と高い類似性(コサイン類似度 > 0.98)を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-18T16:16:57Z)
• Dynamical Mean-Field Theory of Self-Attention Neural Networks [0.0]
  トランスフォーマーベースのモデルは、様々な領域で例外的な性能を示している。 動作方法や期待されるダイナミクスについてはほとんど分かっていない。 非平衡状態における非対称ホップフィールドネットワークの研究に手法を用いる。
  論文  参考訳（メタデータ） (2024-06-11T13:29:34Z)
• Function Approximation for Reinforcement Learning Controller for Energy from Spread Waves [69.9104427437916]
  マルチジェネレータ・ウェーブ・エナジー・コンバータ(WEC)は、スプレッド・ウェーブと呼ばれる異なる方向から来る複数の同時波を処理しなければならない。 これらの複雑な装置は、エネルギー捕獲効率、維持を制限する構造的ストレスの低減、高波に対する積極的な保護という複数の目的を持つコントローラを必要とする。 本稿では,システム力学のシーケンシャルな性質をモデル化する上で,ポリシーと批判ネットワークの異なる機能近似について検討する。
  論文  参考訳（メタデータ） (2024-04-17T02:04:10Z)
• Understanding the Expressive Power and Mechanisms of Transformer for Sequence Modeling [10.246977481606427]
  ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。 本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
  論文  参考訳（メタデータ） (2024-02-01T11:43:13Z)
• On the Convergence of Encoder-only Shallow Transformers [62.639819460956176]
  エンコーダのみの浅部変圧器のグローバル収束理論を現実的な条件下で構築する。 我々の結果は、現代のトランスフォーマー、特にトレーニング力学の理解を深める道を開くことができる。
  論文  参考訳（メタデータ） (2023-11-02T20:03:05Z)
• Variational waveguide QED simulators [58.720142291102135]
  導波管QEDシミュレータは1次元フォトニックバンドギャップ材料と相互作用する量子エミッタによって構成される。 ここでは、これらの相互作用がより効率的な変分量子アルゴリズムを開発するためのリソースとなることを実証する。
  論文  参考訳（メタデータ） (2023-02-03T18:55:08Z)
• Convexifying Transformers: Improving optimization and understanding of transformer networks [56.69983975369641]
  本研究では,注目/変圧器ネットワークのトレーニング問題について検討し,新しい凸解析手法を提案する。 まず,自己注意機構の代替として凸を導入し,変圧器ネットワークの正規化学習問題を再構成する。 凸解析の副産物として,トークン間の空間性を促進する暗黙の規則化機構を明らかにする。
  論文  参考訳（メタデータ） (2022-11-20T18:17:47Z)
• Transformer Meets Boundary Value Inverse Problems [4.165221477234755]
  変圧器を用いた深部直接サンプリング法は境界値逆問題のクラスを解くために提案される。 慎重に設計されたデータと再構成された画像の間に学習した逆演算子を評価することにより、リアルタイムな再構成を実現する。
  論文  参考訳（メタデータ） (2022-09-29T17:45:25Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers [42.93754828584075]
  我々は、高速注意Via Orthogonal Random機能(FAVOR)に基づく新しいトランスフォーマーアーキテクチャPerformerを提案する。 我々の機構は、列内のトークンの数で2次ではなく2次的にスケールし、四次空間の複雑さが特徴であり、スパーシティパターンの先行を含まない。 これは強い理論的保証を与える:注意行列の偏りのない推定と一様収束である。
  論文  参考訳（メタデータ） (2020-06-05T17:09:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。