論文の概要: LSS-SKAN: Efficient Kolmogorov-Arnold Networks based on Single-Parameterized Function

• arxiv url: http://arxiv.org/abs/2410.14951v1
• Date: Sat, 19 Oct 2024 02:44:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:12:58.467826
• Title: LSS-SKAN: Efficient Kolmogorov-Arnold Networks based on Single-Parameterized Function
• Title（参考訳）: LSS-SKAN:単一パラメータ関数に基づく効率的なコルモゴロフ・アルノルドネットワーク
• Authors: Zhijie Chen, Xinglin Zhang,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) ネットワークは高視認性のために注目されている。 そこで本研究では,基礎関数が1つの学習可能なパラメータのみを利用するSKANという優れたKAを提案する。 LSS-SKANはMNISTデータセットよりも優れた性能を示した。
• 参考スコア（独自算出の注目度）: 4.198997497722401
• License:
• Abstract: The recently proposed Kolmogorov-Arnold Networks (KAN) networks have attracted increasing attention due to their advantage of high visualizability compared to MLP. In this paper, based on a series of small-scale experiments, we proposed the Efficient KAN Expansion Principle (EKE Principle): allocating parameters to expand network scale, rather than employing more complex basis functions, leads to more efficient performance improvements in KANs. Based on this principle, we proposed a superior KAN termed SKAN, where the basis function utilizes only a single learnable parameter. We then evaluated various single-parameterized functions for constructing SKANs, with LShifted Softplus-based SKANs (LSS-SKANs) demonstrating superior accuracy. Subsequently, extensive experiments were performed, comparing LSS-SKAN with other KAN variants on the MNIST dataset. In the final accuracy tests, LSS-SKAN exhibited superior performance on the MNIST dataset compared to all tested pure KAN variants. Regarding execution speed, LSS-SKAN outperformed all compared popular KAN variants. Our experimental codes are available at https://github.com/chikkkit/LSS-SKAN and SKAN's Python library (for quick construction of SKAN in python) codes are available at https://github.com/chikkkit/SKAN .
• Abstract（参考訳）: 最近提案されたコルモゴロフ・アルノルドネットワーク(KAN)ネットワークは、MLPと比較して高視認性のために注目されている。 本稿では, より複雑な基礎関数を用いるのではなく, ネットワーク規模を拡大するためのパラメータを割り当てることにより, より効率的なkanの性能向上を実現することを目的とした, 効率的なkan拡張原理(EKE Principle)を提案する。 この原理に基づいて,基礎関数は1つの学習可能なパラメータのみを利用する,SKANと呼ばれる優れたKAを提案する。 LShifted Softplus-based SKANs (LSS-SKANs) を用いて, SKANsを構築するための各種単一パラメータ関数の評価を行った。 その後、LSS-SKANをMNISTデータセット上の他のKankan変種と比較して広範な実験が行われた。 最終精度試験では、LSS-SKANは純粋なカン変種と比較してMNISTデータセットよりも優れた性能を示した。 実行速度に関して、LSS-SKANは一般的なKANよりも優れていた。 実験コードはhttps://github.com/chikkkit/LSS-SKANとSKANのPythonライブラリ(pythonでSKANを素早く構築するために)で、https://github.com/chikkkit/SKANで利用可能です。

関連論文リスト

• A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
  State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。 軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。 本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
  論文  参考訳（メタデータ） (2024-06-25T07:45:00Z)
• Kolmogorov-Arnold Network for Satellite Image Classification in Remote Sensing [4.8951183832371]
  本稿では,コンボリューションニューラルネットワーク(CNN)モデルとKAN(Kolmogorov-Arnold Network)を統合したリモートセンシングシーン分類タスクを提案する。 KCNと呼ばれる新しい手法は、従来のマルチ層パーセプトロン(MLP)をKANに置き換えて、分類性能を向上させることを目的としている。 我々はVGG16, MobileNetV2, EfficientNet, ConvNeXt, ResNet101, Vision Transformer (ViT) など,複数のCNNベースのモデルを用いて, Kanと組み合わせて性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-02T03:11:37Z)
• Parameter optimization comparison in QAOA using Stochastic Hill Climbing with Random Re-starts and Local Search with entangled and non-entangled mixing operators [0.0]
  本研究では,Hill Climbing with Random Restarts (SHC-RR) の有効性を検討した。 以上の結果から,SHC-RRはLSアプローチよりも優れており,より単純な最適化機構にもかかわらず優れた有効性を示した。
  論文  参考訳（メタデータ） (2024-05-14T20:12:17Z)
• Less is KEN: a Universal and Simple Non-Parametric Pruning Algorithm for Large Language Models [1.5807079236265718]
  KENはカーネル密度推定(KDE)に基づく単純で普遍的で非構造化プルーニングアルゴリズムである Kenは、最適化されたトランスフォーマーを構築することを目的としており、最も重要なパラメータを選択的に保存し、他のパラメータをトレーニング前の状態に復元する。 Kenは、元の未実行バージョンと同等かそれ以上のパフォーマンスを達成し、パラメータの最小25%の削減を実現している。
  論文  参考訳（メタデータ） (2024-02-05T16:11:43Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• SLLEN: Semantic-aware Low-light Image Enhancement Network [123.44639609889802]
  LLEメインネットワーク(LLEmN)とSS補助ネットワーク(SSaN)からなる意味認識型LLEネットワーク(SSLEN)を開発する。 現在利用可能なアプローチとは異なり、提案されているSLLENは、LLEを支援するためにIEF、HSF、SSデータセットなどのセマンティック情報を完全に読み取ることができる。 提案したSLLENと他の最先端技術との比較により,LLEの品質に対するSLLENの優位性が示された。
  論文  参考訳（メタデータ） (2022-11-21T15:29:38Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Shapley-NAS: Discovering Operation Contribution for Neural Architecture Search [96.20505710087392]
  ニューラルアーキテクチャ探索のための演算寄与度(Shapley-NAS)を評価するためのShapley値に基づく手法を提案する。 提案手法は,光探索コストに比例して最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-20T14:41:49Z)
• SHRIMP: Sparser Random Feature Models via Iterative Magnitude Pruning [3.775565013663731]
  IMP (ShRIMP) を用いたスペーサーランダム特徴モデル(スペーサーランダム特徴モデル)を提案する。 提案手法は,2層密集ネットワークにおける疎く宝くじを作成・発見するための複合的なプロセスとみなすことができる。
  論文  参考訳（メタデータ） (2021-12-07T21:32:28Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。