論文の概要: A Coulomb Particle Model for Learning Kernel Attention in Transformers

• arxiv url: http://arxiv.org/abs/2607.23869v1
• Date: Sun, 26 Jul 2026 22:23:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.257397
• Title: A Coulomb Particle Model for Learning Kernel Attention in Transformers
• Title（参考訳）: 変圧器のカーネル注意学習のためのクーロン粒子モデル
• Authors: Masoud Badiei Khuzani, Sharath Honnaiah, Atiq Islam, Alex Cozzi, Abraham Bagherjeiran,
• Abstract要約: ランダム化機能は、カーネルマシンにスケーラブルな近似を提供する。 カーネルとターゲットのアライメントを最適化することで、この分布を学習する粒子ベースの手法を提案する。 第1アライメントフェーズにおける正のランダム特徴写像を学習することにより、線形化トランスフォーマーアテンションにおける手法のインスタンス化を行う。
• 参考スコア（独自算出の注目度）: 1.7685947618629572
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Randomized features provide a scalable approximation to kernel machines, but their performance depends strongly on the choice of feature distribution. We propose a particle-based method that learns this distribution by optimizing kernel-target alignment while regularizing particles with a Riesz/Coulomb repulsive potential. The resulting Hamiltonian yields diverse, task-adaptive random features and admits a mean-field description through a McKean--Vlasov equation. We instantiate the method in linearized Transformer attention by learning positive random-feature maps in a first alignment phase, then freezing the kernel and training the remaining network parameters with cross-entropy. Experiments on synthetic classification and sentence-level benchmarks show that learned kernelized attention can improve accuracy, calibration, and robustness for several feature maps while preserving linear-attention inference complexity.
• Abstract（参考訳）: ランダム化機能はカーネルマシンにスケーラブルな近似を提供するが、その性能は機能分散の選択に大きく依存する。 本稿では,Riesz/Coulomb反発ポテンシャルを持つ粒子を正則化しながら,カーネルターゲットアライメントを最適化することにより,この分布を学習する粒子ベース手法を提案する。 その結果、ハミルトンは多様でタスク適応的なランダムな特徴を与え、マッキーン-ヴラソフ方程式を通じて平均場の記述を認める。 本手法は,第1アライメントフェーズにおいて正のランダム特徴写像を学習し,カーネルを凍結し,残りのネットワークパラメータをクロスエントロピーでトレーニングすることにより,線形化トランスフォーマーの注意を最小化する。 合成分類と文レベルのベンチマーク実験により、学習されたカーネル化された注意は、線形アテンション推論の複雑さを保ちながら、いくつかの特徴写像の精度、校正、堅牢性を向上できることが示された。

関連論文リスト

• On Interpolation Formulas Describing Neural Network Generalization [8.154667543705687]
  連続時間拡散により決定論的バージョンを拡張する勾配カーネルを導入する。 トレーニングサンプルは、損失依存の重み付けと軌道に沿った勾配アライメントを通じて寄与することを明らかにする。 次に、勾配カーネルによって誘導される積分作用素の零空間に一般化誤差をリンクする。
  論文  参考訳（メタデータ） (2026-03-14T10:03:29Z)
• Data-Aware Random Feature Kernel for Transformers [7.455696124254561]
  事前訓練されたモデルでは、クエリとキーは典型的には異方的であり、これは等方的サンプリングスキームにおいて高いモンテカルロ分散を引き起こす。 我々はDARKFormerを紹介した。DARKFormerはデータ対応のカーネル幾何を特徴とするデータ対応ランダム関数カーネルトランスである。 ランダム機能効率とデータ認識カーネルを組み合わせることで、DARKFormerはリソース制約された設定においてカーネルベースの注意を喚起する。
  論文  参考訳（メタデータ） (2026-03-04T14:43:11Z)
• Feature maps for the Laplacian kernel and its generalizations [3.671202973761375]
  ガウス核とは異なり、ラプラシア核は分離できない。 ラプラシア核とその2つの一般化に対してランダムな特徴を与える。 実データセット上でこれらのランダムな特徴写像の有効性を実証する。
  論文  参考訳（メタデータ） (2025-02-21T16:36:20Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Variational Autoencoder Kernel Interpretation and Selection for Classification [59.30734371401315]
  本研究では,変分オートエンコーダの畳み込みエンコーダによって生成された特徴に基づく確率的分類器のカーネル選択手法を提案する。 提案した実装では、各カーネルに対して各分散が生成されるため、各潜伏変数を最終エンコーダの畳み込み層の単一カーネルに関連付けられた分布からサンプリングした。 サンプル化された潜伏変数で関連する機能を選択することで、カーネルの選択を実行し、非形式的機能とカーネルをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2022-09-10T17:22:53Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Kernel Identification Through Transformers [54.3795894579111]
  カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。 この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。 KITT: Kernel Identification through Transformersを提案する。
  論文  参考訳（メタデータ） (2021-06-15T14:32:38Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Symplectic Gaussian Process Regression of Hamiltonian Flow Maps [0.8029049649310213]
  ハミルトンフローマップに対する適切な効率なエミュレータを構築するためのアプローチを提案する。 将来的な応用は、加速器における高速荷電粒子の長期追跡と磁気プラズマ閉じ込めである。
  論文  参考訳（メタデータ） (2020-09-11T17:56:35Z)
• Scaling up Kernel Ridge Regression via Locality Sensitive Hashing [6.704115928005158]
  ランダムな双対関数の重み付け版を導入し、対応するカーネル関数が滑らかなガウス過程を生成することを示す。 重み付けされたランダムなバイナリ化特徴は、対応するカーネル行列にスペクトル近似を与え、カーネルリッジ回帰の効率的なアルゴリズムをもたらすことを示す。
  論文  参考訳（メタデータ） (2020-03-21T21:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。