論文の概要: Rethinking the Function of Neurons in KANs

• arxiv url: http://arxiv.org/abs/2407.20667v1
• Date: Tue, 30 Jul 2024 09:04:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-31 17:49:53.076441
• Title: Rethinking the Function of Neurons in KANs
• Title（参考訳）: ニューロンの機能の再考
• Authors: Mohammed Ghaith Altarabichi,
• Abstract要約: コルモゴロフ・アルノルドネットワーク(KAN)のニューロンは、コルモゴロフ・アルノルド表現定理によって動機付けられた単純な和を実行する。 本研究では,KANニューロンに対する代替多変量関数の同定の可能性について検討する。
• 参考スコア（独自算出の注目度）: 1.223779595809275
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The neurons of Kolmogorov-Arnold Networks (KANs) perform a simple summation motivated by the Kolmogorov-Arnold representation theorem, which asserts that sum is the only fundamental multivariate function. In this work, we investigate the potential for identifying an alternative multivariate function for KAN neurons that may offer increased practical utility. Our empirical research involves testing various multivariate functions in KAN neurons across a range of benchmark Machine Learning tasks. Our findings indicate that substituting the sum with the average function in KAN neurons results in significant performance enhancements compared to traditional KANs. Our study demonstrates that this minor modification contributes to the stability of training by confining the input to the spline within the effective range of the activation function. Our implementation and experiments are available at: \url{https://github.com/Ghaith81/dropkan}
• Abstract（参考訳）: コルモゴロフ・アルノルドネットワーク(KAN)のニューロンはコルモゴロフ・アルノルド表現定理(英語版)によって動機付けられた単純な和を行い、和が唯一の基本多変量関数であると主張する。 本研究では,KANニューロンに対する代替多変量関数の同定の可能性について検討する。 我々の経験的研究は、さまざまなベンチマーク機械学習タスクにわたって、KANニューロンの様々な多変量関数をテストすることである。 以上の結果より, ニューロンの平均関数に置換すると, 従来のKANに比べ, 性能が著しく向上することが示唆された。 本研究は, この軽微な修正が, 活性化機能の有効範囲内でスプラインへの入力を収束させることにより, 訓練の安定性に寄与することを示した。 実装と実験は以下の通りである。

関連論文リスト

• rKAN: Rational Kolmogorov-Arnold Networks [0.0]
  コルモゴロフ・アルノルドネットワーク(KAN)の新たな基底関数としての有理関数の利用について検討する。 学習可能な基底関数としてPade近似と有理ヤコビ関数に基づく2つの異なるアプローチを提案し、有理観(rKAN)を確立する。 次に,様々な深層学習および物理インフォームドタスクにおけるrKANの性能を評価し,関数近似の実用性と有効性を示す。
  論文  参考訳（メタデータ） (2024-06-20T16:59:38Z)
• Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
  ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。 逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。 ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
  論文  参考訳（メタデータ） (2024-03-18T18:58:23Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Generalization of generative model for neuronal ensemble inference method [0.0]
  本研究では,ニューロンの状態を表す変数の範囲を拡大し,拡張変数に対するモデルの可能性を一般化する。 この2値入力の制限のない一般化により,ソフトクラスタリングが可能となり,非定常神経活動データに適用できる。
  論文  参考訳（メタデータ） (2022-11-07T07:58:29Z)
• Stochastic Adaptive Activation Function [1.9199289015460212]
  本研究では,単位の位置や入力の文脈に応じて,異なるしきい値と適応的なアクティベーションを促進する,シンプルで効果的なアクティベーション関数を提案する。 実験により,我々のアクティベーション関数は,多くのディープラーニングアプリケーションにおいて,より正確な予測と早期収束の利点を享受できることを示した。
  論文  参考訳（メタデータ） (2022-10-21T01:57:25Z)
• Neural Estimation of Submodular Functions with Applications to Differentiable Subset Selection [50.14730810124592]
  サブモジュール関数と変種は、多様性とカバレッジを特徴付ける能力を通じて、データ選択と要約のための重要なツールとして登場した。 本稿では,モノトーンおよび非モノトーン部分モジュラー関数のためのフレキシブルニューラルネットワークであるFLEXSUBNETを提案する。
  論文  参考訳（メタデータ） (2022-10-20T06:00:45Z)
• Data-Driven Learning of Feedforward Neural Networks with Different Activation Functions [0.0]
  この研究は、フィードフォワードニューラルネットワーク(FNN)学習の新しいデータ駆動手法(D-DM)の開発に寄与する。
  論文  参考訳（メタデータ） (2021-07-04T18:20:27Z)
• And/or trade-off in artificial neurons: impact on adversarial robustness [91.3755431537592]
  ネットワークに十分な数のOR様ニューロンが存在すると、分類の脆さと敵の攻撃に対する脆弱性が増加する。 そこで我々は,AND様ニューロンを定義し,ネットワーク内での割合を増大させる対策を提案する。 MNISTデータセットによる実験結果から,本手法はさらなる探索の方向として有望であることが示唆された。
  論文  参考訳（メタデータ） (2021-02-15T08:19:05Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。