論文の概要: Structural Kolmogorov-Arnold Convolutions: Learnable Function on the Values or the Filter Shape as Parameter-Efficient Alternative to Per-Edge Convolutional KANs
- arxiv url: http://arxiv.org/abs/2606.24371v1
- Date: Tue, 23 Jun 2026 10:00:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-24 22:16:48.896204
- Title: Structural Kolmogorov-Arnold Convolutions: Learnable Function on the Values or the Filter Shape as Parameter-Efficient Alternative to Per-Edge Convolutional KANs
- Title(参考訳): 構造的コルモゴロフ・アルノルドの畳み込み--辺の畳み込みカンに対するパラメータ効率の良い代替物としての値やフィルタ形状の学習可能な関数-
- Authors: Stefano Mereu, Oleksandr Kuznetsov, Gabriele Marchello, Alessandro Galdelli, Emanuele Frontoni, Adriano Mancini, Ferdinando Cannella,
- Abstract要約: Convolutional Kolmogorov--Arnold Networks (KAN) は、畳み込みカーネルの固定重みを学習可能な単変数関数に置き換える。
学習可能な関数は、各エッジよりも畳み込みのエンファン構造に置かれる方がよいと我々は主張する。
- 参考スコア(独自算出の注目度): 76.06235645266621
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Kolmogorov--Arnold Networks (KANs) replace the fixed weights of a convolutional kernel with learnable univariate functions. The dominant formulation attaches one such function to every kernel entry and lets it act on pixel values, expressive but parameter-heavy and prone to overfitting. We argue that the learnable functions are better placed in the \emph{structure} of the convolution than on each edge, and we organise the design space along a single axis: whether the function acts on the pixel \emph{values} or on the filter \emph{shape}. We study three realisations. SV-KAN applies one shared univariate function to the values and leaves the spatial filter free and static, aa classical convolution with a single learnable shared activation. AG-KAN keeps the shared value function but supplies the spatial structure through a content-adaptive Gaussian gate. RF-KAN instead moves the learnable functions onto the filter shape, building each filter from oriented ridge profiles expanded in a localised oscillatory (Morlet) wavelet basis with content-adaptive amplitudes. Under a matched four-layer protocol with in-run references and three seeds, RF-KAN and SV-KAN reach $88.47\pm0.10\%$ and $88.20\pm0.31\%$ on CIFAR-10 and $64.40\pm0.19\%$ and $64.57\pm0.30\%$ on CIFAR-100, at about $0.4$M parameters. At this matched scale the shape model and the simplest value model meet at the top, both above a plain convolution and every per-edge KAN we tested, including the official Gram variant, at roughly a fifth of the parameters. A controlled study attributes the RF-KAN gain to an intrinsically localised oscillatory basis and to content adaptivity, and an ablation that removes the learned shape entirely, leaving only the shared value function, collapses accuracy by over forty points, identifying the learned shape as the load-bearing ingredient at this scale.
- Abstract(参考訳): Convolutional Kolmogorov--Arnold Networks (KAN) は、畳み込みカーネルの固定重みを学習可能な単変数関数に置き換える。
支配的な定式化は、すべてのカーネルエントリに1つのそのような関数をアタッチし、ピクセル値、表現的だがパラメータ重大であり、オーバーフィットしがちである。
学習可能な関数は、各エッジよりも畳み込みの \emph{structure} に配置し、単一の軸に沿って設計空間を整理する: 関数がピクセル \emph{values} に作用するか、フィルタ \emph{shape} に作用するか。
私たちは3つの実現法を研究します。
SV-KANは1つの共有ユニバリケート関数を値に適用し、空間フィルタを自由かつ静的に残し、古典的な畳み込みを1つの学習可能な共有アクティベーションで行う。
AG-KANは共有値関数を保持するが、コンテンツ適応型ガウスゲートを介して空間構造を供給する。
RF-KANは、学習可能な関数をフィルタ形状に移動させ、各フィルタは、局所振動(モレット)ウェーブレットベースで拡張された方向のリッジプロファイルから、コンテンツ適応振幅で構築する。
CIFAR-10では、RF-KANとSV-KANが8.47 pm0.10 %、CIFAR-10では8.20 pm0.31 %、CIFAR-100では6.40 pm0.19 %、CIFAR-100では64.57 pm0.30 %である。
この一致したスケールでは、形状モデルと最も単純な値モデルは、平易な畳み込みの上と、公式なGramの変種を含む、テストしたすべてのエッジkanの両方で、パラメータの約5分の1で一致します。
制御された研究は、RF-KANゲインを本質的に局所化された振動基底とコンテンツ適応性と、学習した形状を完全に取り除き、共有値関数のみを残して、40点以上の精度で精度を低下させ、学習した形状をこのスケールで荷重を有する成分として識別するアブレーションとを特徴付ける。
関連論文リスト
- Lookup multivariate Kolmogorov-Arnold Networks [5.639419519849473]
高次元線形写像は、現代のディープラーニングモデルのパラメータ数と計算コストの両方を支配している。
汎用的なドロップイン置換, ルックアップ多変数Kolmogorov-Arnold Networks (lmKANs)を導入する。
lmKANはキャパシティと推論コストのトレードオフを著しく改善します。
論文 参考訳(メタデータ) (2025-09-08T18:00:35Z) - RecConv: Efficient Recursive Convolutions for Multi-Frequency Representations [8.346566205092433]
RecConvは、小さなカーネル畳み込みを用いた多周波表現を効率的に構築する分解戦略である。
RecNeXt-M3 は RepViT-M1.1 を COCO 上で 1.9$APbox$ で上回っている。
論文 参考訳(メタデータ) (2024-12-27T13:13:52Z) - Highly Adaptive Ridge [84.38107748875144]
直交可積分な部分微分を持つ右連続函数のクラスにおいて,$n-2/3$自由次元L2収束率を達成する回帰法を提案する。
Harは、飽和ゼロオーダーテンソル積スプライン基底展開に基づいて、特定のデータ適応型カーネルで正確にカーネルリッジレグレッションを行う。
我々は、特に小さなデータセットに対する最先端アルゴリズムよりも経験的性能が優れていることを示す。
論文 参考訳(メタデータ) (2024-10-03T17:06:06Z) - Adaptive Split-Fusion Transformer [90.04885335911729]
本稿では,適応重みによる畳み込みと注目の分岐を異なる方法で扱うための適応分割変換器(ASF-former)を提案する。
ImageNet-1Kのような標準ベンチマークの実験では、我々のASFフォーマーはCNN、トランスフォーマー、ハイブリッドパイロットを精度で上回っている。
論文 参考訳(メタデータ) (2022-04-26T10:00:28Z) - PSConv: Squeezing Feature Pyramid into One Compact Poly-Scale
Convolutional Layer [76.44375136492827]
畳み込みニューラルネットワーク(CNN)は、しばしばスケールに敏感である。
我々は、この後悔を、より細かい粒度でマルチスケールの機能を利用して埋める。
提案した畳み込み演算は、PSConv(Poly-Scale Convolution)と呼ばれ、拡張率のスペクトルを混合する。
論文 参考訳(メタデータ) (2020-07-13T05:14:11Z) - Region adaptive graph fourier transform for 3d point clouds [51.193111325231165]
本稿では,3次元点雲特性の圧縮のための領域適応グラフフーリエ変換(RA-GFT)を提案する。
RA-GFTは従来の手法よりも複雑性と性能のトレードオフが優れている。
論文 参考訳(メタデータ) (2020-03-04T02:47:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。