論文の概要: LSS-SKAN: Efficient Kolmogorov-Arnold Networks based on Single-Parameterized Function

• arxiv url: http://arxiv.org/abs/2410.14951v1
• Date: Sat, 19 Oct 2024 02:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:58.467826
• Title: LSS-SKAN: Efficient Kolmogorov-Arnold Networks based on Single-Parameterized Function
• Title（参考訳）: LSS-SKAN:単一パラメータ関数に基づく効率的なコルモゴロフ・アルノルドネットワーク
• Authors: Zhijie Chen, Xinglin Zhang,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) ネットワークは高視認性のために注目されている。 そこで本研究では,基礎関数が1つの学習可能なパラメータのみを利用するSKANという優れたKAを提案する。 LSS-SKANはMNISTデータセットよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 4.198997497722401
• License:
• Abstract: The recently proposed Kolmogorov-Arnold Networks (KAN) networks have attracted increasing attention due to their advantage of high visualizability compared to MLP. In this paper, based on a series of small-scale experiments, we proposed the Efficient KAN Expansion Principle (EKE Principle): allocating parameters to expand network scale, rather than employing more complex basis functions, leads to more efficient performance improvements in KANs. Based on this principle, we proposed a superior KAN termed SKAN, where the basis function utilizes only a single learnable parameter. We then evaluated various single-parameterized functions for constructing SKANs, with LShifted Softplus-based SKANs (LSS-SKANs) demonstrating superior accuracy. Subsequently, extensive experiments were performed, comparing LSS-SKAN with other KAN variants on the MNIST dataset. In the final accuracy tests, LSS-SKAN exhibited superior performance on the MNIST dataset compared to all tested pure KAN variants. Regarding execution speed, LSS-SKAN outperformed all compared popular KAN variants. Our experimental codes are available at https://github.com/chikkkit/LSS-SKAN and SKAN's Python library (for quick construction of SKAN in python) codes are available at https://github.com/chikkkit/SKAN .
• Abstract（参考訳）: 最近提案されたコルモゴロフ・アルノルドネットワーク(KAN)ネットワークは、MLPと比較して高視認性のために注目されている。 本稿では, より複雑な基礎関数を用いるのではなく, ネットワーク規模を拡大するためのパラメータを割り当てることにより, より効率的なkanの性能向上を実現することを目的とした, 効率的なkan拡張原理(EKE Principle)を提案する。 この原理に基づいて,基礎関数は1つの学習可能なパラメータのみを利用する,SKANと呼ばれる優れたKAを提案する。 LShifted Softplus-based SKANs (LSS-SKANs) を用いて, SKANsを構築するための各種単一パラメータ関数の評価を行った。 その後、LSS-SKANをMNISTデータセット上の他のKankan変種と比較して広範な実験が行われた。 最終精度試験では、LSS-SKANは純粋なカン変種と比較してMNISTデータセットよりも優れた性能を示した。 実行速度に関して、LSS-SKANは一般的なKANよりも優れていた。 実験コードはhttps://github.com/chikkkit/LSS-SKANとSKANのPythonライブラリ(pythonでSKANを素早く構築するために)で、https://github.com/chikkkit/SKANで利用可能です。

関連論文リスト

• LArctan-SKAN: Simple and Efficient Single-Parameterized Kolmogorov-Arnold Networks using Learnable Trigonometric Function [4.198997497722401]
  LSin-SKAN、LCos-SKAN、LArctan-SKANの3つの新しい派生型が開発されている。 LArctan-SKANは精度と計算効率の両面で優れている。 その結果,三角関数で構築したSKANの有効性と可能性が確認された。
  論文  参考訳（メタデータ） (2024-10-25T07:41:56Z)
• EKAN: Equivariant Kolmogorov-Arnold Networks [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
  Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。 Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。 コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
  論文  参考訳（メタデータ） (2024-09-20T14:49:21Z)
• FC-KAN: Function Combinations in Kolmogorov-Arnold Networks [48.39771439237495]
  FC-KANはKAN(Kolmogorov-Arnold Network)の一種で、低次元データ上で一般的な数学的関数を利用する。 FC-KANとマルチ層パーセプトロンネットワーク(MLP)と,BSRBF-KAN,EfficientKAN,FastKAN,FasterKANなどの既存のKANを比較した。 B-スプラインからの出力とガウス差分(DoG)を2次関数の形で組み合わせたFC-KANの変種は、5つの独立トレーニングランの平均で他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-03T10:16:43Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example [0.08192907805418582]
  Kolmogorov-Arnold Networks (KAN) は多層パーセプトロンの代替として提案されている。 高エネルギー物理における二項イベント分類の典型的な課題について検討する。 1層カンの学習活性化関数は入力特徴の対数類似度に類似していることが判明した。
  論文  参考訳（メタデータ） (2024-08-05T18:01:07Z)
• Kolmogorov-Arnold Network for Satellite Image Classification in Remote Sensing [4.8951183832371]
  本稿では,コンボリューションニューラルネットワーク(CNN)モデルとKAN(Kolmogorov-Arnold Network)を統合したリモートセンシングシーン分類タスクを提案する。 KCNと呼ばれる新しい手法は、従来のマルチ層パーセプトロン(MLP)をKANに置き換えて、分類性能を向上させることを目的としている。 我々はVGG16, MobileNetV2, EfficientNet, ConvNeXt, ResNet101, Vision Transformer (ViT) など,複数のCNNベースのモデルを用いて, Kanと組み合わせて性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-02T03:11:37Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• SLLEN: Semantic-aware Low-light Image Enhancement Network [92.80325772199876]
  LLEメインネットワーク(LLEmN)とSS補助ネットワーク(SSaN)からなる意味認識型LLEネットワーク(SSLEN)を開発する。 現在利用可能なアプローチとは異なり、提案されているSLLENは、LLEを支援するためにIEF、HSF、SSデータセットなどのセマンティック情報を完全に読み取ることができる。 提案したSLLENと他の最先端技術との比較により,LLEの品質に対するSLLENの優位性が示された。
  論文  参考訳（メタデータ） (2022-11-21T15:29:38Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。