論文の概要: Smooth Kolmogorov Arnold networks enabling structural knowledge representation

• arxiv url: http://arxiv.org/abs/2405.11318v1
• Date: Sat, 18 May 2024 15:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 18:18:48.630868
• Title: Smooth Kolmogorov Arnold networks enabling structural knowledge representation
• Title（参考訳）: 構造的知識表現を可能にするスムース・コルモゴロフ・アーノルドネットワーク
• Authors: Moein E. Samadi, Younes Müller, Andreas Schuppert,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は、従来のマルチ層パーセプトロン(MLP)アーキテクチャに代わる、効率的かつ解釈可能な代替手段を提供する。 固有の構造的知識を活用することで、カンは訓練に必要なデータを減らすことができ、幻覚的予測を発生させるリスクを軽減することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) offer an efficient and interpretable alternative to traditional multi-layer perceptron (MLP) architectures due to their finite network topology. However, according to the results of Kolmogorov and Vitushkin, the representation of generic smooth functions by KAN implementations using analytic functions constrained to a finite number of cutoff points cannot be exact. Hence, the convergence of KAN throughout the training process may be limited. This paper explores the relevance of smoothness in KANs, proposing that smooth, structurally informed KANs can achieve equivalence to MLPs in specific function classes. By leveraging inherent structural knowledge, KANs may reduce the data required for training and mitigate the risk of generating hallucinated predictions, thereby enhancing model reliability and performance in computational biomedicine.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KANs) は、従来のマルチ層パーセプトロン(MLP)アーキテクチャに対して、ネットワークトポロジーが有限であることから、効率的かつ解釈可能な代替手段を提供する。 しかし、コルモゴロフとヴィトゥシキンの結果によれば、有限個のカットオフ点に制限された解析関数を用いたカン実装による一般的な滑らかな関数の表現は正確ではない。 したがって、訓練過程を通しての観の収束は制限される可能性がある。 本稿では, 官能の滑らかさの関連性について考察し, 官能のスムーズな構造的情報により, 特定の関数クラスにおける MLP と等価性が得られることを示唆する。 構造的知識を生かして、カンは学習に必要なデータを削減し、幻覚的予測を発生させるリスクを軽減し、計算生医学におけるモデルの信頼性と性能を向上させることができる。

関連論文リスト

• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• Free-Knots Kolmogorov-Arnold Network: On the Analysis of Spline Knots and Advancing Stability [16.957071012748454]
  Kolmogorov-Arnold Neural Networks (KAN)は、機械学習コミュニティにおいて大きな注目を集めている。 しかしながら、それらの実装はトレーニングの安定性が悪く、重いトレーニング可能なパラメータに悩まされることが多い。 本研究では, スプラインノットのレンズによるカンの挙動を解析し, B-スプライン系カンの結び目数に対する上下境界を導出する。
  論文  参考訳（メタデータ） (2025-01-16T04:12:05Z)
• PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks [47.947045173329315]
  Kolmogorov-Arnold Networks (KAN) は、ニューラルネットワークアーキテクチャの革新を象徴している。 Kansは、CNN、Recurrent Reduced Networks(RNN)、Transformerなどのモデルで、MLP(Multi-Layer Perceptrons)に代わる魅力的な代替手段を提供する。 本稿では,階層内のパラメータ数を削減するために複数の手法を用いたPRKANを導入し,ニューラルM層に匹敵する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:07:39Z)
• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Kolmogorov-Arnold Network Autoencoders [0.0]
  Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。 カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。 この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2024-10-02T22:56:00Z)
• F-KANs: Federated Kolmogorov-Arnold Networks [3.8277268808551512]
  分類タスクにKAN(Kolmogorov-Arnold Networks)を利用する,革新的なフェデレートラーニング(FL)手法を提案する。 本研究は, 従来の多層パーセプトロン(MLP)分類タスクと比較して, 連合カンの性能を評価する。
  論文  参考訳（メタデータ） (2024-07-29T15:28:26Z)
• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation [0.0]
  本稿では,Chebyshev Kolmogorov-Arnoldの定理に触発された新しいニューラルネットワークアーキテクチャであるChebyshev Kolmogorov-Arnold Networkについて述べる。 ネットワークのエッジ上でChebyshevによってパラメータ化された学習可能な関数を利用することで、Chebyshev Kansは関数近似タスクの柔軟性、効率、解釈性を向上させる。
  論文  参考訳（メタデータ） (2024-05-12T07:55:43Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Semantic Probabilistic Layers for Neuro-Symbolic Learning [83.25785999205932]
  我々は構造化出力予測(SOP)のための予測層を設計する。 予測が事前に定義されたシンボリック制約のセットと一致していることを保証するため、任意のニューラルネットワークにプラグインすることができる。 我々のセマンティック確率層(SPL)は、構造化された出力空間上で複雑な相関や制約をモデル化することができる。
  論文  参考訳（メタデータ） (2022-06-01T12:02:38Z)
• Local Propagation in Constraint-based Neural Network [77.37829055999238]
  ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。 本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
  論文  参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。