論文の概要: Function Fitting Based on Kolmogorov-Arnold Theorem and Kernel Functions

• arxiv url: http://arxiv.org/abs/2503.23038v1
• Date: Sat, 29 Mar 2025 11:03:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:34:20.809495
• Title: Function Fitting Based on Kolmogorov-Arnold Theorem and Kernel Functions
• Title（参考訳）: Kolmogorov-Arnold理論とカーネル関数に基づく関数フィッティング
• Authors: Jianpeng Liu, Qizhi Pan,
• Abstract要約: 本稿では,Kolmogorov-Arnold表現定理とカーネル法に基づく統一理論フレームワークを提案する。 我々は、2つのモデルをカーネル関数の線形結合として統一するカーネルベースの機能適合フレームワークを構築した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper proposes a unified theoretical framework based on the Kolmogorov-Arnold representation theorem and kernel methods. By analyzing the mathematical relationship among kernels, B-spline basis functions in Kolmogorov-Arnold Networks (KANs) and the inner product operation in self-attention mechanisms, we establish a kernel-based feature fitting framework that unifies the two models as linear combinations of kernel functions. Under this framework, we propose a low-rank Pseudo-Multi-Head Self-Attention module (Pseudo-MHSA), which reduces the parameter count of traditional MHSA by nearly 50\%. Furthermore, we design a Gaussian kernel multi-head self-attention variant (Gaussian-MHSA) to validate the effectiveness of nonlinear kernel functions in feature extraction. Experiments on the CIFAR-10 dataset demonstrate that Pseudo-MHSA model achieves performance comparable to the ViT model of the same dimensionality under the MAE framework and visualization analysis reveals their similarity of multi-head distribution patterns. Our code is publicly available.
• Abstract（参考訳）: 本稿では,Kolmogorov-Arnold表現定理とカーネル法に基づく統一理論フレームワークを提案する。 カーネル間の数学的関係、KAN(Kolmogorov-Arnold Networks)におけるB-スプライン基底関数、自己アテンション機構における内部積演算を解析することにより、2つのモデルをカーネル関数の線形結合として統一するカーネルベースの特徴適合フレームワークを確立する。 本稿では,従来のMHSAのパラメータ数を約50%削減する低ランクなPseudo-Multi-Head Self-Attention Module (Pseudo-MHSA)を提案する。 さらに,機能抽出における非線形カーネル関数の有効性を検証するために,ガウスカーネル多頭部自己注意変種(ガウス-MHSA)を設計する。 CIFAR-10データセットの実験により、Pseudo-MHSAモデルは、MAEフレームワークの下で同じ次元のViTモデルに匹敵する性能を達成し、可視化分析により、マルチヘッド分布パターンの類似性を明らかにする。 私たちのコードは公開されています。

関連論文リスト

• Kernel-Based Anomaly Detection Using Generalized Hyperbolic Processes [16.79885220470521]
  本稿では,一般化ハイパーボリック(GH)プロセスをカーネルベースの手法に統合することで,異常検出の新しい手法を提案する。 本稿では,GHに基づくカーネル関数を提案し,カーネル密度推定(KDE)とワンクラスサポートベクトルマシン(OCSVM)を用いて異常検出フレームワークを開発する。
  論文  参考訳（メタデータ） (2025-01-25T16:21:44Z)
• Wasserstein proximal operators describe score-based generative models and resolve memorization [12.321631823103894]
  We first formulate SGMs with terms of Wasserstein proximal operator (WPO) We show that WPO describe the inductive bias of diffusion and score-based model。 本稿では,SGMの性能を劇的に向上させる,スコア関数の解釈可能なカーネルベースモデルを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:33:13Z)
• BCDAG: An R package for Bayesian structure and Causal learning of Gaussian DAGs [77.34726150561087]
  観測データから因果関係の発見と因果関係を推定するためのRパッケージを提案する。 我々の実装は、観測回数とともに効率的にスケールし、DAGが十分にスパースであるたびに、データセット内の変数の数を削減します。 次に、実際のデータセットとシミュレーションデータセットの両方で、主な機能とアルゴリズムを説明します。
  論文  参考訳（メタデータ） (2022-01-28T09:30:32Z)
• Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective [0.8594140167290097]
  マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:01:34Z)
• Hybrid Random Features [60.116392415715275]
  ハイブリッドランダム特徴(HRF)と呼ばれるソフトマックスとガウス核の線形化のための新しいランダム特徴法を提案する。 HRFは、カーネル推定の品質を自動的に適応し、定義された関心領域の最も正確な近似を提供する。
  論文  参考訳（メタデータ） (2021-10-08T20:22:59Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Representation Theorem for Matrix Product States [1.7894377200944511]
  本稿では, 行列積状態(MPS)の普遍的表現能力について, 関数と連続関数の観点から検討する。 任意のゲートに対して対応するMPS構造の構築方法を提供することにより、MPSが任意の機能を正確に実現できることを示した。 我々は,MPSとニューラルネットワークの関係について検討し,スケール不変なシグモダル関数を持つMPSが一層ニューラルネットワークと等価であることを示す。
  論文  参考訳（メタデータ） (2021-03-15T11:06:54Z)
• Kernel learning approaches for summarising and combining posterior similarity matrices [68.8204255655161]
  我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。 我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
  論文  参考訳（メタデータ） (2020-09-27T14:16:14Z)
• A Mean-Field Theory for Learning the Sch\"{o}nberg Measure of Radial Basis Functions [13.503048325896174]
  トレーニングサンプルから放射基底関数のシュンベルク積分表現の分布を学習する。 スケーリング限界において、ランゲヴィン粒子の経験的測度が、反射的イオ拡散ドリフト過程の法則に収束することを証明する。
  論文  参考訳（メタデータ） (2020-06-23T21:04:48Z)
• Bayesian Sparse Factor Analysis with Kernelized Observations [67.60224656603823]
  多視点問題は潜在変数モデルに直面することができる。 高次元問題と非線形問題は伝統的にカーネルメソッドによって扱われる。 両アプローチを単一モデルにマージすることを提案する。
  論文  参考訳（メタデータ） (2020-06-01T14:25:38Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。