論文の概要: Learning Theory of Transformers: Local-to-Global Approximation via Softmax Partition of Unity

• arxiv url: http://arxiv.org/abs/2605.08811v1
• Date: Sat, 09 May 2026 09:02:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.900932
• Title: Learning Theory of Transformers: Local-to-Global Approximation via Softmax Partition of Unity
• Title（参考訳）: 変圧器の学習理論:ユニティのソフトマックス分割による局所-グローバル近似
• Abstract要約: 本稿では,コンパクトユークリッド領域上の回帰タスクに対するトランスフォーマーネットワークの学習理論について検討する。 本稿では,対象関数の局所近似を構築し,それらを大域的近似に集約するトランスフォーマーの構成的近似フレームワークを提案する。 2つのエンコーダブロックと標準単層フィードフォワードネットワークを備えた高密度トランスフォーマーは、$$$Hlder連続関数に対して均一な$varepsilon$-approximation誤差を実現できることを示す。
• 参考スコア（独自算出の注目度）: 5.37133760455631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the learning theory of Transformer networks for regression tasks on the compact Euclidean domain $[0,1]^d$ and $d$-dimensional compact Riemannian manifolds. We propose a novel constructive approximation framework for Transformers that builds local approximations of the target function and aggregates them into a global approximation via softmax partition of unity. This approach leverages the attention mechanism to achieve spatial localization through affine transformations of the input. The softmax activation plays a crucial role in aggregating local approximations to a global output. From an approximation perspective, we prove that a dense Transformer equipped with only two encoder blocks and standard single-hidden-layer point-wise feed-forward networks can achieve a uniform $\varepsilon$-approximation error for $α$-Hölder continuous functions with $α\in (0,1]$ using $\mathcal{O}(\varepsilon^{-d/α})$ total parameters. Building upon this approximation guarantee, we establish a near minimax-optimal generalization error bound of order $\mathcal{O}\big(n^{-\frac{2α}{2α+d}} \log n\big)$ for the empirical risk minimizer, where $n$ is the training data size. The Transformer architecture studied in this paper is dense, shallow and wide, and employs softmax activation and sinusoidal positional encodings, closely reflecting practical implementations.
• Abstract（参考訳）: 本稿では、コンパクトユークリッド領域 $[0,1]^d$ および $d$-次元コンパクトリーマン多様体上の回帰問題に対するトランスフォーマーネットワークの学習理論について検討する。 本稿では,対象関数の局所近似を構築し,それらをユニティのソフトマックス分割による大域的近似に集約するトランスフォーマーの構成的近似フレームワークを提案する。 このアプローチは、アフィン変換による入力の空間的局所化を実現するために、アテンション機構を利用する。 ソフトマックスの活性化は、局所近似をグローバル出力に集約する上で重要な役割を果たす。 近似の観点からは、2つのエンコーダブロックと標準単層フィードフォワードネットワークを備えた高密度トランスフォーマーが、$α$-Hölder連続関数に対して$α\in (0,1]$で$\mathcal{O}(\varepsilon^{-d/α})$の合計パラメータで均一な$\varepsilon$-approximation誤差を得られることを証明している。 この近似保証に基づいて、n$ がトレーニングデータサイズである経験的リスク最小化器に対して、位数 $\mathcal{O}\big(n^{-\frac{2α}{2α+d}} \log n\big)$ の極小最適一般化誤差境界を確立する。 本論文では,トランスフォーマーのアーキテクチャは密度が高く,浅く,幅が広く,ソフトマックスアクティベーションと正弦波位置エンコーディングを採用し,実用的な実装をよく反映している。

関連論文リスト

• Efficient Mean Curvature Computation on High-Dimensional Data Manifolds [52.452902154360565]
  高次元データセットの各点における局所的な平均曲率の推定は、機械学習アルゴリズムの重要な要素である。 本稿では,このコストを桁違いに削減する2つの補完的貢献を紹介する。 実世界のデータセットの実験では、オリジナルの実装と比較して50倍から300倍のスピードアップが確認されている。
  論文  参考訳（メタデータ） (2026-06-04T16:04:31Z)
• FlatVPR: Plug-and-play Geo-linear Residual Adapter for Geometric Rectification of Foundation Model Feature Manifolds [0.7734726150561086]
  FlatVPR'は、視覚的位置認識における地図軽量性と位置決め精度のトレードオフを橋渡しする。 本手法は, 数学的に接地したプルバック平坦性損失を用いて, 多様体曲率を明示的に抑制する。 NCLTデータセットの実験では、アダプタの適用によってパフォーマンスが大幅に向上することを示した。
  論文  参考訳（メタデータ） (2026-06-01T05:56:59Z)
• Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
  本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。 合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
  論文  参考訳（メタデータ） (2026-05-25T07:08:57Z)
• InfoFlow: A Framework for Multi-Layer Transformer Analysis [28.731784494689276]
  多層変圧器は単層変圧器と基本的に異なる近似能力を有する。 我々は多層トランスフォーマーのためのフレームワークInfoFlowを提案する。
  論文  参考訳（メタデータ） (2026-05-18T06:38:39Z)
• Fermion lattices can be simulated by same-size qubit lattices with $\mathcal{O}(1)$ interaction overhead [0.0]
  電子間の局所的な相互作用は、相関物質の多くの複雑な性質を下敷きにする。 N$サイトの2次元フェルミオン格子上のすべての幾何学的局所的相互作用を、相互作用の数にオーバーヘッドがなく、空間オーバーヘッドも無くシミュレートする方法を示す。
  論文  参考訳（メタデータ） (2026-05-12T18:00:04Z)
• Local LMO: Constrained Gradient Optimization via a Local Linear Minimization Oracle [51.714334316332476]
  Local Lは制約付き最適化のための新しいプロジェクションフリー型である。 局所LMOはGD(Gradient Descent)のオラクルと見なされる。
  論文  参考訳（メタデータ） (2026-05-09T10:03:24Z)
• Approximation Error Upper and Lower Bounds for Hölder Class with Transformers [22.477358103223036]
  ソフトマックス演算子、ReLUアクティベーション関数、残差接続を備えた標準トランスフォーマーアーキテクチャに対して、新しい近似上界を導出する。 我々は,少なくとも$mathcalO(varepsilon-d_0/)$ブロックからなるTransformerネットワークが任意の有界Hlder関数を近似可能であることを証明した。 近似下界の場合、VC次元上界を利用して、変換器が少なくとも$(varepsilon-d_0/(4))を要求することを厳格に証明するのは初めてである。
  論文  参考訳（メタデータ） (2026-05-08T09:10:31Z)
• Ghosts of Softmax: Complex Singularities That Limit Safe Step Sizes in Cross-Entropy [0.0]
  クロスエントロピートレーニング分析は、提案されたステップが目標を減少させるかどうかを予測するために、損失の局所的なテイラーモデルに依存する。 提案した更新方向に沿って,ロジット線形化の下で閉形式式を導出する。 _a$の正規化は、標準偏差$0.992$から$0.164$へのオンセット閾値の広がりを縮小する。
  論文  参考訳（メタデータ） (2026-03-13T19:42:12Z)
• Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets [8.844802588836059]
  本稿では,標準変換器がHlder関数を近似できることを示す最初の研究である。 サイズと次元ベクトルの2つの指標を導入することにより、トランスフォーマー構造を微粒化することができる。
  論文  参考訳（メタデータ） (2026-02-24T05:14:01Z)
• An Information-Minimal Geometry for Qubit-Efficient Optimization [0.0]
  量子ビット効率の最適化を幾何学的問題として再検討する。 局所一貫性問題は、Sherali-Adams level-2 polytope $mathrmSA(2)$とちょうど一致する。
  論文  参考訳（メタデータ） (2025-11-11T15:38:57Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• Projection by Convolution: Optimal Sample Complexity for Reinforcement Learning in Continuous-Space MDPs [56.237917407785545]
  本稿では,円滑なベルマン作用素を持つ連続空間マルコフ決定過程(MDP)の一般クラスにおいて,$varepsilon$-optimal Policyを学習する問題を考察する。 我々のソリューションの鍵となるのは、調和解析のアイデアに基づく新しい射影技術である。 我々の結果は、連続空間 MDP における2つの人気と矛盾する視点のギャップを埋めるものである。
  論文  参考訳（メタデータ） (2024-05-10T09:58:47Z)
• Second-order Information Promotes Mini-Batch Robustness in Variance-Reduced Gradients [0.196629787330046]
  目的関数の部分的な2次情報を組み込むことで、分散還元勾配法のミニバッチサイズに対するロバスト性を劇的に向上させることができることを示す。 本稿では,この現象をプロトタイプNewton(textttMb-SVRN$)アルゴリズムで示す。
  論文  参考訳（メタデータ） (2024-04-23T05:45:52Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。