論文の概要: KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example

• arxiv url: http://arxiv.org/abs/2408.02743v1
• Date: Mon, 5 Aug 2024 18:01:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-07 15:58:20.615947
• Title: KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example
• Title（参考訳）: HEP分類タスクの改善に向けて : LHC物理の例に応用したKolmogorov-Arnold Networks
• Authors: Johannes Erdmann, Florian Mausolf, Jan Lukas Späh,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は多層パーセプトロンの代替として提案されている。 高エネルギー物理における二項イベント分類の典型的な課題について検討する。 1層カンの学習活性化関数は入力特徴の対数類似度に類似していることが判明した。
• 参考スコア（独自算出の注目度）: 0.08192907805418582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Kolmogorov-Arnold Networks (KANs) have been proposed as an alternative to multilayer perceptrons, suggesting advantages in performance and interpretability. We study a typical binary event classification task in high-energy physics including high-level features and comment on the performance and interpretability of KANs in this context. We find that the learned activation functions of a one-layer KAN resemble the log-likelihood ratio of the input features. In deeper KANs, the activations in the first KAN layer differ from those in the one-layer KAN, which indicates that the deeper KANs learn more complex representations of the data. We study KANs with different depths and widths and we compare them to multilayer perceptrons in terms of performance and number of trainable parameters. For the chosen classification task, we do not find that KANs are more parameter efficient. However, small KANs may offer advantages in terms of interpretability that come at the cost of only a moderate loss in performance.
• Abstract（参考訳）: 近年,多層パーセプトロンの代替としてコルモゴロフ・アルノルドネットワーク (KAN) が提案されている。 高次特徴を含む高エネルギー物理学における典型的な二項イベント分類タスクについて検討し、この文脈におけるカンの性能と解釈可能性についてコメントする。 1層カンの学習活性化関数は入力特徴の対数類似度に類似していることが判明した。 より深い観では、第1の観層における活性化は、より深い観層がデータのより複雑な表現を学ぶことを示す一層の観層と異なる。 本研究では,異なる深さと幅のカンについて検討し,多層パーセプトロンとの比較を行った。 選択された分類タスクに対して、kansがよりパラメータ効率が高いとは見つからない。 しかし、小さなKAは、性能がやや低下するだけというコストで、解釈可能性という点で利点があるかもしれない。

関連論文リスト

• Semi-KAN: KAN Provides an Effective Representation for Semi-Supervised Learning in Medical Image Segmentation [2.717521115234258]
  半教師付き医療画像セグメンテーション(SSMIS)は、CNNやViTに代わる有効な代替手段を提供する。 Kolmogorov-Arnold Networks (KAN) にヒントを得て,Semi-KANを提案する。 カンはより少ないパラメータで優れた表現学習能力を示す。 そこで本研究では,Semi-KANがベースラインネットワークを超越し,KANレイヤの削減と計算コストの削減を図っている。
  論文  参考訳（メタデータ） (2025-03-19T08:27:41Z)
• LeanKAN: A Parameter-Lean Kolmogorov-Arnold Network Layer with Improved Memory Efficiency and Convergence Behavior [0.0]
  Kolmogorov-Arnoldネットワーク(KAN)は、データ駆動モデリングのための多層パーセプトロン(MLP)に代わる有望な代替品である。 ここでは、MultKAN層が出力層において限定的な適用性に悩まされていることが分かる。 我々は、MultKANと従来のAddKANレイヤを直接かつモジュール的に置き換えるLeanKANを提案する。
  論文  参考訳（メタデータ） (2025-02-25T04:43:41Z)
• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks [47.947045173329315]
  Kolmogorov-Arnold Networks (KAN) は、ニューラルネットワークアーキテクチャの革新を象徴している。 Kansは、CNN、Recurrent Reduced Networks(RNN)、Transformerなどのモデルで、MLP(Multi-Layer Perceptrons)に代わる魅力的な代替手段を提供する。 本稿では,階層内のパラメータ数を削減するために複数の手法を用いたPRKANを導入し,ニューラルM層に匹敵する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:07:39Z)
• Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification [0.17999333451993949]
  Kolmogorov-Arnold Networks (KAN) は最先端モデルのより解釈可能な代替として提案されている。 本稿では,時系列分類のためのKANアーキテクチャの包括的かつ堅牢な探索を実現することを目的とする。 その結果,(1)効率の良いKANは,タスク分類タスクに適した性能を示し,性能と計算効率に優れていた。
  論文  参考訳（メタデータ） (2024-11-22T13:01:36Z)
• On the Convergence of (Stochastic) Gradient Descent for Kolmogorov--Arnold Networks [56.78271181959529]
  Kolmogorov--Arnold Networks (KAN) はディープラーニングコミュニティで注目されている。 実験により、勾配降下(SGD)により最適化されたカンが、ほぼゼロに近い訓練損失を達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-10T15:34:10Z)
• A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
  Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。 Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。 コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
  論文  参考訳（メタデータ） (2024-09-20T14:49:21Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Rethinking the Function of Neurons in KANs [1.223779595809275]
  コルモゴロフ・アルノルドネットワーク(KAN)のニューロンは、コルモゴロフ・アルノルド表現定理によって動機付けられた単純な和を実行する。 本研究では,KANニューロンに対する代替多変量関数の同定の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-30T09:04:23Z)
• SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions [0.0]
  本稿では,B-Splineアクティベーション関数の学習可能なグリッドを,再重み付き正弦関数のグリッド(SineKAN)に置き換えるモデルを提案する。 我々は,B-Spline Kanモデルに匹敵する性能を示すとともに,周期的コサイン関数と正弦関数をベースとしたKAN実装を提案する。
  論文  参考訳（メタデータ） (2024-07-04T20:53:19Z)
• U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
  Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。 トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。 さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T04:13:03Z)
• Kernel function impact on convolutional neural networks [10.98068123467568]
  畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。 より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。 完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
  論文  参考訳（メタデータ） (2023-02-20T19:57:01Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Learning distinct features helps, provably [98.78384185493624]
  最小二乗損失で訓練された2層ニューラルネットワークによって学習された特徴の多様性について検討する。 隠蔽層の特徴間の平均的な$L$-distanceで多様性を測定する。
  論文  参考訳（メタデータ） (2021-06-10T19:14:45Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。