論文の概要: HKAN: Hierarchical Kolmogorov-Arnold Network without Backpropagation

• arxiv url: http://arxiv.org/abs/2501.18199v1
• Date: Thu, 30 Jan 2025 08:44:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:12:45.987644
• Title: HKAN: Hierarchical Kolmogorov-Arnold Network without Backpropagation
• Title（参考訳）: HKAN: バックプロパゲーションのない階層型コルモゴロフ・アルノルドネットワーク
• Authors: Grzegorz Dudek, Tomasz Rodak,
• Abstract要約: 階層型コルモゴロフ・アルノルドネットワーク(Hierarchical Kolmogorov-Arnold Network、HKAN)は、最近提案されたコルモゴロフ・アルノルドネットワーク(KAN)に代わる新しいネットワークアーキテクチャである。 HKANはランダムな学習手法を採用し、基底関数のパラメータを固定し、最小二乗回帰を用いて線形集約を最適化する。 実証的な結果から、HKANは様々な回帰タスクにまたがって、カンに対して優れた精度と安定性を提供すると同時に、変数の重要性に関する洞察を提供する。
• 参考スコア（独自算出の注目度）: 1.3812010983144802
• License:
• Abstract: This paper introduces the Hierarchical Kolmogorov-Arnold Network (HKAN), a novel network architecture that offers a competitive alternative to the recently proposed Kolmogorov-Arnold Network (KAN). Unlike KAN, which relies on backpropagation, HKAN adopts a randomized learning approach, where the parameters of its basis functions are fixed, and linear aggregations are optimized using least-squares regression. HKAN utilizes a hierarchical multi-stacking framework, with each layer refining the predictions from the previous one by solving a series of linear regression problems. This non-iterative training method simplifies computation and eliminates sensitivity to local minima in the loss function. Empirical results show that HKAN delivers comparable, if not superior, accuracy and stability relative to KAN across various regression tasks, while also providing insights into variable importance. The proposed approach seamlessly integrates theoretical insights with practical applications, presenting a robust and efficient alternative for neural network modeling.
• Abstract（参考訳）: 本稿では,最近提案されたコルモゴロフ・アルノルドネットワーク(KAN)に代わる新しいネットワークアーキテクチャである階層型コルモゴロフ・アルノルドネットワーク(HKAN)を紹介する。 バックプロパゲーションに依存するkanとは異なり、HKANは、基底関数のパラメータを固定し、最小二乗回帰を用いて線形アグリゲーションを最適化するランダムな学習アプローチを採用している。 HKANは階層的なマルチスタックフレームワークを使用しており、各レイヤは一連の線形回帰問題を解くことで、前のレイヤから予測を精算する。 計算を単純化し、損失関数の局所最小値に対する感度を除去する。 実証的な結果から、HKANは様々な回帰タスクにまたがって、カンに対して優れた精度と安定性を提供すると同時に、変数の重要性に関する洞察を提供する。 提案手法は理論的な洞察を実用的な応用とシームレスに統合し、ニューラルネットワークモデリングの堅牢で効率的な代替手段を提供する。

関連論文リスト

• Finite Element Neural Network Interpolation. Part I: Interpretable and Adaptive Discretization for Solving PDEs [44.99833362998488]
  組込み有限要素ニューラルネットワーク(EFENN)における従来の研究を拡張したスパースニューラルネットワークアーキテクチャを提案する。 EFENNはメッシュベースの構造であるため、完全に接続されたニューラルネットワークよりもトレーニング可能なパラメータをはるかに少なくする必要がある。 EFENNフレームワーク内のFENNIフレームワークは、HiDeNNアプローチの改善をもたらします。
  論文  参考訳（メタデータ） (2024-12-07T18:31:17Z)
• Reimagining Linear Probing: Kolmogorov-Arnold Networks in Transfer Learning [18.69601183838834]
  Kolmogorov-Arnold Networks (KAN) は、伝達学習における従来の線形探索手法の拡張である。 Kanは、従来の線形探索よりも一貫して優れており、精度と一般化の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-09-12T05:36:40Z)
• Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
  本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。 本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-12-29T04:15:58Z)
• Consensus-Adaptive RANSAC [104.87576373187426]
  本稿では,パラメータ空間の探索を学習する新しいRANSACフレームワークを提案する。 注意機構は、ポイント・ツー・モデル残差のバッチで動作し、軽量のワンステップ・トランスフォーマーで見いだされたコンセンサスを考慮するために、ポイント・ツー・モデル推定状態を更新する。
  論文  参考訳（メタデータ） (2023-07-26T08:25:46Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities [3.093890460224435]
  ディープニューラルネットワークの正規回帰法は、順序応答変数に対処する。 重み付け制約を課すことで出力層タスク間のランク一貫性を実現する。 本稿では,この制限を伴わないランク一貫性の順序回帰法を提案する。
  論文  参考訳（メタデータ） (2021-11-17T01:10:23Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• LocalDrop: A Hybrid Regularization for Deep Neural Networks [98.30782118441158]
  本稿では,ローカルラデマチャー複雑性を用いたニューラルネットワークの正規化のための新しい手法であるLocalDropを提案する。 フルコネクテッドネットワーク(FCN)と畳み込みニューラルネットワーク(CNN)の両方のための新しい正規化機能は、ローカルラデマチャー複雑さの上限提案に基づいて開発されました。
  論文  参考訳（メタデータ） (2021-03-01T03:10:11Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。