論文の概要: AF-KAN: Activation Function-Based Kolmogorov-Arnold Networks for Efficient Representation Learning

• arxiv url: http://arxiv.org/abs/2503.06112v1
• Date: Sat, 08 Mar 2025 07:38:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:04.146907
• Title: AF-KAN: Activation Function-Based Kolmogorov-Arnold Networks for Efficient Representation Learning
• Title（参考訳）: AF-KAN:効率的な表現学習のための活性化関数に基づくコルモゴロフ・アルノルドネットワーク
• Authors: Hoang-Thang Ta, Anh Tran,
• Abstract要約: Kolmogorov-Arnold Networks (KANs) は、幅広い科学的問題にまたがって応用を探求する多くの研究にインスピレーションを与えている。 本稿では,アクティベーション関数に基づくKolmogorov-Arnold Networks (AF-KAN)を導入し,様々なアクティベーションと機能の組み合わせでReLU-KANを拡張した。 この斬新なkanは、主に注意機構やデータ正規化といったパラメータ削減手法を取り入れ、画像分類データセットの性能を向上させる。
• 参考スコア（独自算出の注目度）: 4.843466576537832
• License:
• Abstract: Kolmogorov-Arnold Networks (KANs) have inspired numerous works exploring their applications across a wide range of scientific problems, with the potential to replace Multilayer Perceptrons (MLPs). While many KANs are designed using basis and polynomial functions, such as B-splines, ReLU-KAN utilizes a combination of ReLU functions to mimic the structure of B-splines and take advantage of ReLU's speed. However, ReLU-KAN is not built for multiple inputs, and its limitations stem from ReLU's handling of negative values, which can restrict feature extraction. To address these issues, we introduce Activation Function-Based Kolmogorov-Arnold Networks (AF-KAN), expanding ReLU-KAN with various activations and their function combinations. This novel KAN also incorporates parameter reduction methods, primarily attention mechanisms and data normalization, to enhance performance on image classification datasets. We explore different activation functions, function combinations, grid sizes, and spline orders to validate the effectiveness of AF-KAN and determine its optimal configuration. In the experiments, AF-KAN significantly outperforms MLP, ReLU-KAN, and other KANs with the same parameter count. It also remains competitive even when using fewer than 6 to 10 times the parameters while maintaining the same network structure. However, AF-KAN requires a longer training time and consumes more FLOPs. The repository for this work is available at https://github.com/hoangthangta/All-KAN.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KANs) は、多層パーセプトロン(MLPs)を置き換える可能性があり、幅広い科学的問題にまたがって応用を探求する多くの研究にインスピレーションを与えている。 多くのkanはB-splinesのような基底関数と多項式関数を用いて設計されているが、ReLU-KANはReLU関数を組み合わせてB-splinesの構造を模倣し、ReLUの速度を利用する。 しかし、ReLU-KANは複数の入力に対して構築されておらず、その制限はReLUが特徴抽出を制限する負の値を扱うことに起因している。 これらの課題に対処するために,アクティベーション関数に基づくKolmogorov-Arnold Networks (AF-KAN)を導入し,様々なアクティベーションと機能の組み合わせでReLU-KANを拡張した。 この斬新なkanは、主に注意機構やデータ正規化といったパラメータ削減手法を取り入れ、画像分類データセットの性能を向上させる。 AF-KANの有効性を検証し、その最適構成を決定するために、異なるアクティベーション関数、関数の組み合わせ、グリッドサイズ、スプラインオーダーについて検討する。 実験では, AF-KANは, 同じパラメータ数で, MLP, ReLU-KAN, その他のKANよりも有意に優れていた。 同じネットワーク構造を維持しながら、6倍から10倍未満のパラメータを使用する場合でも、競争力は保たれる。 しかし、AF-KANはより長い訓練時間を必要とし、より多くのFLOPを消費する。 この作業のリポジトリはhttps://github.com/hoangthangta/All-KAN.comで公開されている。

関連論文リスト

• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture [0.922664966526494]
  各ノードで同じアクティベーション関数を利用するのは最適以下であり、各ノードで異なるアクティベーション関数を活用して柔軟性と適応性を向上させることを提案する。 そこで我々は,各ノードのアクティベーション曲線を識別するために,B-スプライン関数を利用するローカル制御ネットワーク(LCN)を導入する。 その結果,ノードレベルでの多様なアクティベーションにより,性能と効率が向上することが示唆された。
  論文  参考訳（メタデータ） (2025-01-23T11:34:25Z)
• Free-Knots Kolmogorov-Arnold Network: On the Analysis of Spline Knots and Advancing Stability [16.957071012748454]
  Kolmogorov-Arnold Neural Networks (KAN)は、機械学習コミュニティにおいて大きな注目を集めている。 しかしながら、それらの実装はトレーニングの安定性が悪く、重いトレーニング可能なパラメータに悩まされることが多い。 本研究では, スプラインノットのレンズによるカンの挙動を解析し, B-スプライン系カンの結び目数に対する上下境界を導出する。
  論文  参考訳（メタデータ） (2025-01-16T04:12:05Z)
• PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks [47.947045173329315]
  Kolmogorov-Arnold Networks (KAN) は、ニューラルネットワークアーキテクチャの革新を象徴している。 Kansは、CNN、Recurrent Reduced Networks(RNN)、Transformerなどのモデルで、MLP(Multi-Layer Perceptrons)に代わる魅力的な代替手段を提供する。 本稿では,階層内のパラメータ数を削減するために複数の手法を用いたPRKANを導入し,ニューラルM層に匹敵する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:07:39Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  我々は任意の行列群同変をkanに組み込む方法であるEquivariant Kolmogorov-Arnold Networks (EKAN)を提案する。 EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• FC-KAN: Function Combinations in Kolmogorov-Arnold Networks [48.39771439237495]
  FC-KANはKAN(Kolmogorov-Arnold Network)の一種で、低次元データ上で一般的な数学的関数を利用する。 FC-KANをマルチ層パーセプトロンネットワーク(MLP)と、BSRBF-KAN、EfficientKAN、FastKAN、FasterKANなどの既存のKANと比較する。 B-スプラインからの出力とガウスの差(DoG)とB-スプラインからの出力と2次関数の形での線形変換を組み合わせたFC-KANの2つの変種は、平均上の他のモデル全体よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-03T10:16:43Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Higher-order-ReLU-KANs (HRKANs) for solving physics-informed neural networks (PINNs) more accurately, robustly and faster [1.6574413179773761]
  新しいタイプのニューラルネットワークモデルであるコルモゴロフ・アルノルドネットワーク(KAN)が、MLP(Multilayer Perceptions)の代替として提案されている。 適合精度を高めるため、ReLU-KANと呼ばれるカンの修正が提案されている。 本研究では, アクティベーション関数であるHigherorder-ReLU(HR)について提案する。
  論文  参考訳（メタデータ） (2024-08-09T03:50:58Z)
• Evolution of Activation Functions for Deep Learning-Based Image Classification [0.0]
  活性化関数(AF)は、ニューラルネットワークの性能において重要な役割を果たす。 AFを進化させる新しい3つの集団共進化アルゴリズムを提案する。 MNIST、FashionMNIST、KMNIST、USPSの4つのデータセットでテストした結果、優れたAFとAFアーキテクチャを見つけるためのパフォーマンスアルゴリズムであることが証明された。
  論文  参考訳（メタデータ） (2022-06-24T05:58:23Z)
• Comparisons among different stochastic selection of activation layers for convolutional neural networks for healthcare [77.99636165307996]
  ニューラルネットワークのアンサンブルを用いて生体医用画像の分類を行う。 ReLU, leaky ReLU, Parametric ReLU, ELU, Adaptive Piecewice Linear Unit, S-Shaped ReLU, Swish, Mish, Mexican Linear Unit, Parametric Deformable Linear Unit, Soft Root Sign。
  論文  参考訳（メタデータ） (2020-11-24T01:53:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。