論文の概要: LaplacianFormer:Rethinking Linear Attention with Laplacian Kernel

• arxiv url: http://arxiv.org/abs/2604.20368v1
• Date: Wed, 22 Apr 2026 09:04:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.060343
• Title: LaplacianFormer:Rethinking Linear Attention with Laplacian Kernel
• Title（参考訳）: LaplacianFormer:Laplacian Kernelによる線形注意の再考
• Authors: Zhe Feng, Sen Lian, Changwei Wang, Muyang Zhang, Tianlong Tan, Rongtao Xu, Weiliang Meng, Xiaopeng Zhang,
• Abstract要約: ソフトマックスアテンションの二次的複雑さは、トランスフォーマーを高解像度の視覚タスクにスケーリングする上で大きな障害となる。 ソフトマックスの代わりにラプラシアンカーネルを用いるトランスフォーマー変種であるラプラシアンフォーマーを提案する。 ImageNetの実験では、LaplacianFormerは高いパフォーマンスと効率のトレードオフを実現し、注意力を高めている。
• 参考スコア（独自算出の注目度）: 27.87296519831803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The quadratic complexity of softmax attention presents a major obstacle for scaling Transformers to high-resolution vision tasks. Existing linear attention variants often replace the softmax with Gaussian kernels to reduce complexity, but such approximations lack theoretical grounding and tend to oversuppress mid-range token interactions. We propose LaplacianFormer, a Transformer variant that employs a Laplacian kernel as a principled alternative to softmax, motivated by empirical observations and theoretical analysis. To address expressiveness degradation under low-rank approximations, we introduce a provably injective feature map that retains fine-grained token information. For efficient computation, we adopt a Nyström approximation of the kernel matrix and solve the resulting system using Newton--Schulz iteration, avoiding costly matrix inversion and SVD. We further develop custom CUDA implementations for both the kernel and solver, enabling high-throughput forward and backward passes suitable for edge deployment. Experiments on ImageNet show that LaplacianFormer achieves strong performance-efficiency trade-offs while improving attention expressiveness.
• Abstract（参考訳）: ソフトマックスアテンションの二次的複雑さは、トランスフォーマーを高解像度の視覚タスクにスケーリングする上で大きな障害となる。 既存の線形アテンションの変種はしばしば複雑さを減らすためにソフトマックスをガウス核に置き換えるが、そのような近似には理論的根拠がなく、中距離トークンの相互作用を抑圧する傾向がある。 我々は,経験的観察と理論的解析を動機とした,ラプラシアンカーネルをソフトマックスの原理的な代替品とするトランスフォーマー変種であるラプラシアンホルダーを提案する。 低ランク近似下での表現性劣化に対処するために, 粒度の細かいトークン情報を保持する, 証明可能なインジェクティブ特徴写像を導入する。 効率的な計算のために、カーネル行列のNyström近似を採用し、Newton-Schulz 反復法を用いて、コストのかかる行列逆転とSVDを回避する。 さらに、カーネルとソルバの両方にカスタムなCUDA実装を開発し、エッジデプロイメントに適した高スループットの前方および後方パスを実現する。 ImageNetの実験によると、LaplacianFormerは注目の表現性を改善しつつ、高いパフォーマンス効率のトレードオフを実現している。

関連論文リスト

• Sparse Attention as Compact Kernel Regression [20.026224027434974]
  カーネル理論によるスパースアテンション機構の理解が現在欠落している。 スパースアテンションとコンパクト(有界サポート)カーネルの正式な対応を確立する。 カーネルレグレッションベースの変種であるメモリモザイクによる実験は、カーネルベースのスパースアテンションが競合性能を達成することを示している。
  論文  参考訳（メタデータ） (2026-01-30T09:45:35Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• Softmax-free Linear Transformers [90.83157268265654]
  視覚変換器(ViT)は、視覚知覚タスクの最先端を推し進めている。 既存の手法は理論的に欠陥があるか、視覚認識に経験的に効果がないかのいずれかである。 我々はSoftmax-Free Transformers (SOFT) のファミリーを提案する。
  論文  参考訳（メタデータ） (2022-07-05T03:08:27Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。