論文の概要: A Genetic Algorithm-Based Approach for Automated Optimization of Kolmogorov-Arnold Networks in Classification Tasks

• arxiv url: http://arxiv.org/abs/2501.17411v1
• Date: Wed, 29 Jan 2025 04:32:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:55:11.393450
• Title: A Genetic Algorithm-Based Approach for Automated Optimization of Kolmogorov-Arnold Networks in Classification Tasks
• Title（参考訳）: 遺伝的アルゴリズムによる分類作業におけるコルモゴロフ・アルノルドネットワークの自動最適化
• Authors: Quan Long, Bin Wang, Bing Xue, Mengjie Zhang,
• Abstract要約: コルモゴロフ・アルノルドネットワーク(KAN)は2024年に導入され、多層パーセプトロンの解釈可能性の問題に対処している。 本稿では, GA-KANを提案する。GA-KANは, Kansの最適化を自動化する遺伝的アプローチであり, 設計プロセスに人間の介入を必要としない。 GA-KANは2つのおもちゃのデータセット上で検証され、元のkanのマニュアルチューニングを必要とせずに最適な結果が得られる。
• 参考スコア（独自算出の注目度）: 8.669319624657701
• License:
• Abstract: To address the issue of interpretability in multilayer perceptrons (MLPs), Kolmogorov-Arnold Networks (KANs) are introduced in 2024. However, optimizing KAN structures is labor-intensive, typically requiring manual intervention and parameter tuning. This paper proposes GA-KAN, a genetic algorithm-based approach that automates the optimization of KANs, requiring no human intervention in the design process. To the best of our knowledge, this is the first time that evolutionary computation is explored to optimize KANs automatically. Furthermore, inspired by the use of sparse connectivity in MLPs in effectively reducing the number of parameters, GA-KAN further explores sparse connectivity to tackle the challenge of extensive parameter spaces in KANs. GA-KAN is validated on two toy datasets, achieving optimal results without the manual tuning required by the original KAN. Additionally, GA-KAN demonstrates superior performance across five classification datasets, outperforming traditional methods on all datasets and providing interpretable symbolic formulae for the Wine and Iris datasets, thereby enhancing model transparency. Furthermore, GA-KAN significantly reduces the number of parameters over the standard KAN across all the five datasets. The core contributions of GA-KAN include automated optimization, a new encoding strategy, and a new decoding process, which together improve the accuracy and interpretability, and reduce the number of parameters.
• Abstract（参考訳）: マルチ層パーセプトロン(MLP)の解釈可能性の問題に対処するため、2024年にKAN(Kolmogorov-Arnold Networks)が導入された。 しかし、カン構造の最適化は労働集約的であり、通常は手動の介入とパラメータチューニングを必要とする。 本稿では, GA-KANを提案する。GA-KANは, Kansの最適化を自動化する遺伝的アルゴリズムに基づくアプローチであり, 設計プロセスに人間の介入を必要としない。 我々の知る限りでは、カンを自動最適化するために進化計算が探索されたのはこれが初めてである。 さらに, GA-KANは, MLPにおけるスパース接続を利用してパラメータ数を効果的に減少させることに着想を得て,kansにおける広範囲なパラメータ空間の課題に取り組むためにスパース接続についても検討している。 GA-KANは2つのおもちゃのデータセット上で検証され、元のkanのマニュアルチューニングを必要とせずに最適な結果が得られる。 さらに、GA-KANは5つの分類データセットで優れたパフォーマンスを示し、すべてのデータセットで従来のメソッドよりも優れており、ワインとアイリスのデータセットの解釈可能なシンボル式を提供し、モデルの透明性を高める。 さらに、GA-KANは5つのデータセットすべてにまたがる標準kanのパラメータ数を著しく削減する。 GA-KANのコアコントリビューションには、自動最適化、新しいエンコーディング戦略、新しいデコードプロセスが含まれており、それによって精度と解釈性が向上し、パラメータの数を減らすことができる。

関連論文リスト

• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Adaptive Friction in Deep Learning: Enhancing Optimizers with Sigmoid and Tanh Function [0.0]
  我々は適応摩擦係数を統合する2つの新しい勾配であるsigSignGradとtanhSignGradを紹介する。 我々の理論解析は,摩擦係数Sの広帯域調整能力を示す。 ResNet50 と ViT アーキテクチャを用いた CIFAR-10, Mini-Image-Net 実験により,提案手法の優れた性能が確認された。
  論文  参考訳（メタデータ） (2024-08-07T03:20:46Z)
• Hierarchical Features Matter: A Deep Exploration of GAN Priors for Improved Dataset Distillation [51.44054828384487]
  階層的生成潜在蒸留(H-GLaD)と呼ばれる新しいパラメータ化法を提案する。 本手法はGAN内の階層層を系統的に探索する。 さらに,合成データセット評価に伴う計算負担を軽減するために,新しいクラス関連特徴距離尺度を導入する。
  論文  参考訳（メタデータ） (2024-06-09T09:15:54Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Generative adversarial learning with optimal input dimension and its adaptive generator architecture [3.9043107077488797]
  一般化GAN(Generalized GAN)と呼ばれる新しいフレームワークを導入する。 グループペナルティとアーキテクチャペナルティを取り入れることで、G-GANにはいくつかの興味深い特徴がある。 シミュレーションおよびベンチマークデータを用いて行った大規模な実験は、G-GANの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-05-06T03:30:02Z)
• Low-Rank Representations Meets Deep Unfolding: A Generalized and Interpretable Network for Hyperspectral Anomaly Detection [41.50904949744355]
  現在のハイパースペクトル異常検出(HAD)ベンチマークデータセットは、低解像度、単純なバックグラウンド、検出データの小さなサイズに悩まされている。 これらの要因は、ロバスト性の観点からよく知られた低ランク表現(LRR)モデルの性能も制限する。 我々は、複雑なシナリオにおけるHADアルゴリズムの堅牢性を改善するために、新しいHADベンチマークデータセットであるAIR-HADを構築した。
  論文  参考訳（メタデータ） (2024-02-23T14:15:58Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。