論文の概要: KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example

• arxiv url: http://arxiv.org/abs/2408.02743v1
• Date: Mon, 5 Aug 2024 18:01:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 15:58:20.615947
• Title: KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example
• Title（参考訳）: HEP分類タスクの改善に向けて : LHC物理の例に応用したKolmogorov-Arnold Networks
• Authors: Johannes Erdmann, Florian Mausolf, Jan Lukas Späh,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は多層パーセプトロンの代替として提案されている。 高エネルギー物理における二項イベント分類の典型的な課題について検討する。 1層カンの学習活性化関数は入力特徴の対数類似度に類似していることが判明した。
• 参考スコア（独自算出の注目度）: 0.08192907805418582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Kolmogorov-Arnold Networks (KANs) have been proposed as an alternative to multilayer perceptrons, suggesting advantages in performance and interpretability. We study a typical binary event classification task in high-energy physics including high-level features and comment on the performance and interpretability of KANs in this context. We find that the learned activation functions of a one-layer KAN resemble the log-likelihood ratio of the input features. In deeper KANs, the activations in the first KAN layer differ from those in the one-layer KAN, which indicates that the deeper KANs learn more complex representations of the data. We study KANs with different depths and widths and we compare them to multilayer perceptrons in terms of performance and number of trainable parameters. For the chosen classification task, we do not find that KANs are more parameter efficient. However, small KANs may offer advantages in terms of interpretability that come at the cost of only a moderate loss in performance.
• Abstract（参考訳）: 近年,多層パーセプトロンの代替としてコルモゴロフ・アルノルドネットワーク (KAN) が提案されている。 高次特徴を含む高エネルギー物理学における典型的な二項イベント分類タスクについて検討し、この文脈におけるカンの性能と解釈可能性についてコメントする。 1層カンの学習活性化関数は入力特徴の対数類似度に類似していることが判明した。 より深い観では、第1の観層における活性化は、より深い観層がデータのより複雑な表現を学ぶことを示す一層の観層と異なる。 本研究では,異なる深さと幅のカンについて検討し,多層パーセプトロンとの比較を行った。 選択された分類タスクに対して、kansがよりパラメータ効率が高いとは見つからない。 しかし、小さなKAは、性能がやや低下するだけというコストで、解釈可能性という点で利点があるかもしれない。

関連論文リスト

• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks [47.947045173329315]
  Kolmogorov-Arnold Networks (KAN) は、ニューラルネットワークアーキテクチャの革新を象徴している。 Kansは、CNN、Recurrent Reduced Networks(RNN)、Transformerなどのモデルで、MLP(Multi-Layer Perceptrons)に代わる魅力的な代替手段を提供する。 本稿では,階層内のパラメータ数を削減するために複数の手法を用いたPRKANを導入し,ニューラルM層に匹敵する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:07:39Z)
• Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification [0.17999333451993949]
  Kolmogorov-Arnold Networks (KAN) は最先端モデルのより解釈可能な代替として提案されている。 本稿では,時系列分類のためのKANアーキテクチャの包括的かつ堅牢な探索を実現することを目的とする。 その結果,(1)効率の良いKANは,タスク分類タスクに適した性能を示し,性能と計算効率に優れていた。
  論文  参考訳（メタデータ） (2024-11-22T13:01:36Z)
• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Rethinking the Function of Neurons in KANs [1.223779595809275]
  コルモゴロフ・アルノルドネットワーク(KAN)のニューロンは、コルモゴロフ・アルノルド表現定理によって動機付けられた単純な和を実行する。 本研究では,KANニューロンに対する代替多変量関数の同定の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-30T09:04:23Z)
• SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions [0.0]
  本稿では,B-Splineアクティベーション関数の学習可能なグリッドを,再重み付き正弦関数のグリッド(SineKAN)に置き換えるモデルを提案する。 我々は,B-Spline Kanモデルに匹敵する性能を示すとともに,周期的コサイン関数と正弦関数をベースとしたKAN実装を提案する。
  論文  参考訳（メタデータ） (2024-07-04T20:53:19Z)
• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。