論文の概要: Smooth Kolmogorov Arnold networks enabling structural knowledge representation

• arxiv url: http://arxiv.org/abs/2405.11318v2
• Date: Mon, 27 May 2024 09:32:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 03:28:24.839114
• Title: Smooth Kolmogorov Arnold networks enabling structural knowledge representation
• Title（参考訳）: 構造的知識表現を可能にするスムース・コルモゴロフ・アーノルドネットワーク
• Authors: Moein E. Samadi, Younes Müller, Andreas Schuppert,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は、従来のマルチ層パーセプトロン(MLP)アーキテクチャに代わる、効率的かつ解釈可能な代替手段を提供する。 固有の構造的知識を活用することで、カンは訓練に必要なデータを減らすことができ、幻覚的予測を発生させるリスクを軽減することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) offer an efficient and interpretable alternative to traditional multi-layer perceptron (MLP) architectures due to their finite network topology. However, according to the results of Kolmogorov and Vitushkin, the representation of generic smooth functions by KAN implementations using analytic functions constrained to a finite number of cutoff points cannot be exact. Hence, the convergence of KAN throughout the training process may be limited. This paper explores the relevance of smoothness in KANs, proposing that smooth, structurally informed KANs can achieve equivalence to MLPs in specific function classes. By leveraging inherent structural knowledge, KANs may reduce the data required for training and mitigate the risk of generating hallucinated predictions, thereby enhancing model reliability and performance in computational biomedicine.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KANs) は、従来のマルチ層パーセプトロン(MLP)アーキテクチャに対して、ネットワークトポロジーが有限であることから、効率的かつ解釈可能な代替手段を提供する。 しかし、コルモゴロフとヴィトゥシキンの結果によれば、有限個のカットオフ点に制限された解析関数を用いたカン実装による一般的な滑らかな関数の表現は正確ではない。 したがって、訓練過程を通しての観の収束は制限される可能性がある。 本稿では, 官能の滑らかさの関連性について考察し, 官能のスムーズな構造的情報により, 特定の関数クラスにおける MLP と等価性が得られることを示唆する。 構造的知識を生かして、カンは学習に必要なデータを削減し、幻覚的予測を発生させるリスクを軽減し、計算生医学におけるモデルの信頼性と性能を向上させることができる。

関連論文リスト

• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Kolmogorov-Arnold Network Autoencoders [0.0]
  Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。 カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。 この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2024-10-02T22:56:00Z)
• F-KANs: Federated Kolmogorov-Arnold Networks [3.8277268808551512]
  分類タスクにKAN(Kolmogorov-Arnold Networks)を利用する,革新的なフェデレートラーニング(FL)手法を提案する。 本研究は, 従来の多層パーセプトロン(MLP)分類タスクと比較して, 連合カンの性能を評価する。
  論文  参考訳（メタデータ） (2024-07-29T15:28:26Z)
• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Kolmogorov-Arnold Networks (KANs) for Time Series Analysis [6.932243286441558]
  本稿では,KAN(Kolmogorov-Arnold Networks)の時系列予測への応用について紹介する。 コルモゴロフ・アルノルドの表現定理に着想を得たカンスは、伝統的な線型重みをスプラインパラメタライズされた単変数関数に置き換えた。 実世界の衛星トラフィック予測タスクにおいて,KANSAが従来のMLP(Multi-Layer Perceptrons)よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-14T17:38:17Z)
• Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation [0.0]
  本稿では,Chebyshev Kolmogorov-Arnoldの定理に触発された新しいニューラルネットワークアーキテクチャであるChebyshev Kolmogorov-Arnold Networkについて述べる。 ネットワークのエッジ上でChebyshevによってパラメータ化された学習可能な関数を利用することで、Chebyshev Kansは関数近似タスクの柔軟性、効率、解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-05-12T07:55:43Z)
• Layer-wise Feedback Propagation [53.00944147633484]
  本稿では、ニューラルネットワークのような予測器のための新しいトレーニング手法であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決に対するそれぞれの貢献に基づいて、個々のコネクションに報酬を割り当てる。 各種モデルやデータセットの勾配降下に匹敵する性能を達成できることの有効性を実証する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• Semantic Probabilistic Layers for Neuro-Symbolic Learning [83.25785999205932]
  我々は構造化出力予測(SOP)のための予測層を設計する。 予測が事前に定義されたシンボリック制約のセットと一致していることを保証するため、任意のニューラルネットワークにプラグインすることができる。 我々のセマンティック確率層(SPL)は、構造化された出力空間上で複雑な相関や制約をモデル化することができる。
  論文  参考訳（メタデータ） (2022-06-01T12:02:38Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Local Propagation in Constraint-based Neural Network [77.37829055999238]
  ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。