論文の概要: Incorporating Arbitrary Matrix Group Equivariance into KANs

• arxiv url: http://arxiv.org/abs/2410.00435v3
• Date: Sun, 02 Feb 2025 07:52:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-04 16:04:21.246871
• Title: Incorporating Arbitrary Matrix Group Equivariance into KANs
• Title（参考訳）: 任意行列群等式をカンに組み込む
• Authors: Lexiang Hu, Yisen Wang, Zhouchen Lin,
• Abstract要約: 我々は任意の行列群同変をkanに組み込む方法であるEquivariant Kolmogorov-Arnold Networks (EKAN)を提案する。 EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。
• 参考スコア（独自算出の注目度）: 69.30866522377694
• License:
• Abstract: Kolmogorov-Arnold Networks (KANs) have seen great success in scientific domains thanks to spline activation functions, becoming an alternative to Multi-Layer Perceptrons (MLPs). However, spline functions may not respect symmetry in tasks, which is crucial prior knowledge in machine learning. In this paper, we propose Equivariant Kolmogorov-Arnold Networks (EKAN), a method for incorporating arbitrary matrix group equivariance into KANs, aiming to broaden their applicability to more fields. We first construct gated spline basis functions, which form the EKAN layer together with equivariant linear weights, and then define a lift layer to align the input space of EKAN with the feature space of the dataset, thereby building the entire EKAN architecture. Compared with baseline models, EKAN achieves higher accuracy with smaller datasets or fewer parameters on symmetry-related tasks, such as particle scattering and the three-body problem, often reducing test MSE by several orders of magnitude. Even in non-symbolic formula scenarios, such as top quark tagging with three jet constituents, EKAN achieves comparable results with state-of-the-art equivariant architectures using fewer than 40% of the parameters, while KANs do not outperform MLPs as expected.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) はスプライン活性化機能により科学分野で大きな成功を収め、MLP(Multi-Layer Perceptrons)の代替となった。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本稿では,任意の行列群をkansに組み込む手法であるEquivariant Kolmogorov-Arnold Networks (EKAN)を提案する。 まず,同変線形重みとともにEKAN層を形成するゲートスプライン基底関数を構築し,EKANの入力空間とデータセットの特徴空間を整合させるリフト層を定義し,EKANアーキテクチャ全体を構築する。 ベースラインモデルと比較して、EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。 3つのジェット成分を持つトップクォークタグのような象徴的でない公式シナリオでも、EKANは40%未満のパラメータを持つ最先端の同変アーキテクチャで同等の結果を得る。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations [3.0222726571099665]
  非シーム層は、グラフ異常検出、重み空間アライメント、ワッサーシュタイン距離の学習といったタスクのパフォーマンスを向上させることができることを示す。 また、これらの追加の非シーム層は、グラフ異常の検出、重み空間のアライメント、ワッサーシュタイン距離の学習といったタスクのパフォーマンスを向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-09T08:19:31Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
  群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。 我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。 実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
  論文  参考訳（メタデータ） (2023-06-05T13:40:54Z)
• Higher Order Gauge Equivariant CNNs on Riemannian Manifolds and Applications [7.322121417864824]
  我々はゲージ同変畳み込み(GEVNet)と呼ばれるゲージ同変畳み込みの高次一般化を導入する。 これにより、空間的に拡張された非線形相互作用を、大域的等距離と等値性を維持しながら、与えられた場内でモデル化することができる。 神経画像データ実験では、結果として生じる2部構造を用いて、拡散磁気共鳴画像(dMRI)からLewy Body Disease(DLB)、Alzheimer's Disease(AD)、Parkinson's Disease(PD)を自動判別する。
  論文  参考訳（メタデータ） (2023-05-26T06:02:31Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Architectural Optimization over Subgroups for Equivariant Neural Networks [0.0]
  準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。 進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:37:29Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。