論文の概要: Rethinking Vision Architectures with Gated Linear Attention and KAN

• arxiv url: http://arxiv.org/abs/2609.22506v1
• Date: Fri, 18 Sep 2026 19:07:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.414039
• Title: Rethinking Vision Architectures with Gated Linear Attention and KAN
• Title（参考訳）: Gated Linear Attention and Kanによるビジョンアーキテクチャの再考
• Abstract要約: 本稿では,LKAT (Arnold Transformer) について紹介する。LKAT (Arnold Transformer) は,GLA (Gatchwise Gated Linear Attention) を2層フィードフォワードに結合した等方性エンコーダである。 In a DeiT-style recipe, we compare LKAT with ViT, ViT-5, CIF-Mixer, and we provide a I/O-aware fused RBF-KAN kernel for the radial-basis grid map。 結果は,中規模視覚表現学習における相補的帰納的バイアスとして,線形注意とkan-based radial-basis関数をサポートする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Vision Transformers allocate most parameters to multi-layer perceptrons (MLPs) for channel mixing, while token interactions usually rely on quadratic multi-head self-attention (MHSA). Linear attention reduces sequence complexity to O(N), but remains coupled with the same fixed-activation MLP as softmax Transformers. Kolmogorov-Arnold Networks (KANs) instead place learnable univariate maps on edges, yet prior vision KANs keep MHSA or omit attention entirely. We introduce LKAT (Linear Kolmogorov-Arnold Transformer), an isotropic ViT encoder that couples chunkwise Gated Linear Attention (GLA) with a two-layer KAN feed-forward, and we provide an I/O-aware fused RBF-KAN kernel for the radial-basis grid maps. Under a shared DeiT-style recipe we compare LKAT with ViT, ViT-5, and MLP-Mixer. LKAT-B exceeds ViT-B/16, ViT-5-B, and Mixer-B/16 on ImageNet-100. Tiny/Small/Base LKAT variants scale consistently on CIFAR-10/100, and ImageNet-100 pretraining transfers to CIFAR fine-tuning. The results support gated linear attention and KAN-based radial-basis functions as complementary inductive biases for mid-scale visual representation learning.
• Abstract（参考訳）: 視覚変換器はチャネル混合のために、ほとんどのパラメータを多層パーセプトロン(MLP)に割り当てるが、トークン相互作用は通常、二次的マルチヘッド自己アテンション(MHSA)に依存する。 線形注意は配列の複雑さをO(N)に還元するが、ソフトマックス変換器と同じ固定活性化MLPと結合する。 Kolmogorov-Arnold Networks (KANs) は学習可能なユニバリケートマップをエッジに配置するが、先進的なビジョンであるKansはMHSAを完全に無視する。 LKAT (Linear Kolmogorov-Arnold Transformer) は2層フィードフォワードでGLA(Gatchwise Gated Linear Attention)を結合する等方性 ViT エンコーダであり、ラジアルベーシグリッドマップ用のI/O対応融合RBF-KAN カーネルを提供する。 共有されたDeiTスタイルのレシピでは、LKATとViT、ViT-5、MLP-Mixerを比較します。 LKAT-BはImageNet-100でViT-B/16、ViT-5-B、Mixer-B/16を上回る。 Tiny/Small/Base LKAT 変種は CIFAR-10/100 上で一貫してスケールし、ImageNet-100 は CIFAR の微調整に事前訓練される。 その結果,中規模視覚表現学習における相補的帰納的バイアスとして,ゲート線形注意とkan-based radial-basis関数が支持された。

関連論文リスト

• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの計算タスクで素晴らしいパフォーマンスを達成した。 密度の高い接続は、より大きな膨張比をサポートするスパースブロック対角構造に置き換えることができることを示す。 また、トレーニング中に並列分岐として、軽量でパラメータフリーなチャネル共分散アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• Bridging the Gap Between Vision Transformers and Convolutional Neural Networks on Small Datasets [91.25055890980084]
  小さなデータセットでスクラッチからトレーニングする場合、ビジョントランスフォーマー(ViT)と畳み込みニューラルネットワーク(CNN)の間には、依然として極端なパフォーマンスギャップがある。 本稿では2つの帰納バイアスを緩和する解として動的ハイブリッドビジョン変換器(DHVT)を提案する。 我々のDHVTは、CIFAR-100が85.68%、22.8Mパラメータが82.3%、ImageNet-1Kが24.0Mパラメータが82.3%の軽量モデルで、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-12T06:54:39Z)
• Adaptive Split-Fusion Transformer [90.04885335911729]
  本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。 ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
  論文  参考訳（メタデータ） (2022-04-26T10:00:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。