論文の概要: SchoenbAt: Rethinking Attention with Polynomial basis

• arxiv url: http://arxiv.org/abs/2505.12252v1
• Date: Sun, 18 May 2025 06:16:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.12165
• Title: SchoenbAt: Rethinking Attention with Polynomial basis
• Title（参考訳）: SchoenbAt: 多項式に基づく注意の再考
• Authors: Yuhan Guo, Lizhong Ding, Yuwan Yang, Xuewei Guo,
• Abstract要約: カーネル化アテンションは、カーネル関数によるシーケンス相関をモデル化することにより、アテンションメカニズムを拡張する。 我々は、点積の核化された注意を基礎として近似するSchoenbergの定理に基づく注意(SchoenbAt)を提案する。 SchoenbAtの非バイアス性および濃度誤差境界の理論的証明は、その効率と精度をカーネル化された注意近似として支持する。
• 参考スコア（独自算出の注目度）: 2.319467677328129
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kernelized attention extends the attention mechanism by modeling sequence correlations through kernel functions, making significant progresses in optimizing attention. Under the guarantee of harmonic analysis theory, kernel functions can be expanded with basis functions, inspiring random feature-based approaches to enhance the efficiency of kernelized attention while maintaining predictive performance. However, current random feature-based works are limited to the Fourier basis expansions under Bochner's theorem. We propose Schoenberg's theorem-based attention (SchoenbAt), which approximates dot-product kernelized attention with the polynomial basis under Schoenberg's theorem via random Maclaurin features and applies a two-stage regularization to constrain the input space and restore the output scale, acting as a drop-in replacement of dot-product kernelized attention. Our theoretical proof of the unbiasedness and concentration error bound of SchoenbAt supports its efficiency and accuracy as a kernelized attention approximation, which is also empirically validated under various random feature dimensions. Evaluations on real-world datasets demonstrate that SchoenbAt significantly enhances computational speed while preserving competitive performance in terms of precision, outperforming several efficient attention methods.
• Abstract（参考訳）: カーネル化アテンションは、カーネル関数を通してシーケンス相関をモデル化することでアテンションメカニズムを拡張し、アテンションを最適化する上で大きな進歩をもたらす。 調和解析理論の保証の下では、カーネル関数は基底関数で拡張することができ、予測性能を維持しながら、カーネル化された注意の効率を高めるためにランダムな特徴に基づくアプローチを誘発する。 しかし、現在のランダムな特徴ベースの作品はボヒナーの定理の下でのフーリエ基底展開に限られている。 Schoenberg の定理に基づく注意 (SchoenbAt) は、ランダムなマクローリン特徴を通して、Schoenberg の定理に基づく多項式基底に基づくドット積の核化注意を近似し、入力空間を制約し出力スケールを復元するために2段階の正規化を適用し、ドット積の核化注意のドロップイン置換として機能する。 SchoenbAtの非バイアス性および濃度誤差境界の理論的証明は、その効率と精度を、様々なランダムな特徴次元で実験的に検証した、カーネル化された注意近似として支持する。 実世界のデータセットの評価では、SchoenbAtは計算速度を大幅に向上し、精度の点で競争性能を保ち、いくつかの効率的な注意法よりも優れていた。

関連論文リスト

• Kernel-Based Function Approximation for Average Reward Reinforcement Learning: An Optimist No-Regret Algorithm [11.024396385514864]
  無限水平平均報酬設定における近似RLのカーネル関数について考察する。 本稿では,バンディットの特別な場合において,取得関数に基づくアルゴリズムと類似した楽観的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-30T23:04:10Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• A Robust Asymmetric Kernel Function for Bayesian Optimization, with Application to Image Defect Detection in Manufacturing Systems [2.4278445972594525]
  我々は、ロバストなカーネル関数、非対称な弾性ネットラジアル基底関数(AEN-RBF)を提案する。 理論的には、AEN-RBFは穏やかな条件下でより小さな平均2乗予測誤差を実現できることを示す。 また、AEN-RBFカーネル関数は、外れ値に対する感度が低いことも示している。
  論文  参考訳（メタデータ） (2021-09-22T17:59:05Z)
• Generalization Properties of Stochastic Optimizers via Trajectory Analysis [48.38493838310503]
  本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。 本稿では,Fernique-Talagrand関数と局所パワーローの両方が一般化性能の予測可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-02T10:58:32Z)
• Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware Gaussian Processes [0.0]
  再生カーネルヒルベルト空間(RKHS)の要素である所望の特性を持つ関数のみを許容する先進カーネル設計を提案する。 いくつかの合成および2つの科学的データセットを用いて、先進的なカーネル設計がガウス過程に与える影響を示す。
  論文  参考訳（メタデータ） (2021-02-05T22:07:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。