論文の概要: Incorporating Arbitrary Matrix Group Equivariance into KANs

• arxiv url: http://arxiv.org/abs/2410.00435v2
• Date: Mon, 18 Nov 2024 04:28:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:28:34.745160
• Title: Incorporating Arbitrary Matrix Group Equivariance into KANs
• Title（参考訳）: 任意行列群等式をカンに組み込む
• Authors: Lexiang Hu, Yisen Wang, Zhouchen Lin,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
• 参考スコア（独自算出の注目度）: 69.30866522377694
• License:
• Abstract: Kolmogorov-Arnold Networks (KANs) have seen great success in scientific domains thanks to spline activation functions, becoming an alternative to Multi-Layer Perceptrons (MLPs). However, spline functions may not respect symmetry in tasks, which is crucial prior knowledge in machine learning. Previously, equivariant networks embed symmetry into their architectures, achieving better performance in specific applications. Among these, Equivariant Multi-Layer Perceptrons (EMLP) introduce arbitrary matrix group equivariance into MLPs, providing a general framework for constructing equivariant networks layer by layer. In this paper, we propose Equivariant Kolmogorov-Arnold Networks (EKAN), a method for incorporating matrix group equivariance into KANs, aiming to broaden their applicability to more fields. First, we construct gated spline basis functions, which form the EKAN layer together with equivariant linear weights. We then define a lift layer to align the input space of EKAN with the feature space of the dataset, thereby building the entire EKAN architecture. Compared with baseline models, EKAN achieves higher accuracy with smaller datasets or fewer parameters on symmetry-related tasks, such as particle scattering and the three-body problem, often reducing test MSE by several orders of magnitude. Even in non-symbolic formula scenarios, such as top quark tagging with three jet constituents, EKAN achieves comparable results with EMLP using only $26\%$ of the parameters, while KANs do not outperform MLPs as expected.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) はスプライン活性化機能により科学分野で大きな成功を収め、MLP(Multi-Layer Perceptrons)の代替となった。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 以前は、同変ネットワークはアーキテクチャに対称性を組み込み、特定のアプリケーションでより良い性能を達成していた。 このうち、等変多層パーセプトロン (EMLP) は任意の行列群を MLP に導入し、同変ネットワーク層を層単位で構築するための一般的な枠組みを提供する。 本稿では,Kans に行列群等分散を組み込む手法である Equivariant Kolmogorov-Arnold Networks (EKAN) を提案する。 まず、同変線形重みとともにEKAN層を形成するゲートスプライン基底関数を構築する。 次に、EKANの入力空間とデータセットの特徴空間を整合させるリフト層を定義し、EKANアーキテクチャ全体を構築する。 ベースラインモデルと比較して、EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。 EKANは3つのジェット成分を持つトップクォークタギングのようなシンボリックな公式のシナリオでも、パラメータのわずか26 %$でEMLPと同等の結果を得る。

関連論文リスト

• Symmetry Discovery for Different Data Types [52.2614860099811]
  等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。 本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。 我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
  論文  参考訳（メタデータ） (2024-10-13T13:39:39Z)
• Revisiting Multi-Permutation Equivariance through the Lens of Irreducible Representations [3.0222726571099665]
  非シーム層は、グラフ異常検出、重み空間アライメント、ワッサーシュタイン距離の学習といったタスクのパフォーマンスを向上させることができることを示す。 また、これらの追加の非シーム層は、グラフ異常の検出、重み空間のアライメント、ワッサーシュタイン距離の学習といったタスクのパフォーマンスを向上させることを実証的に示す。
  論文  参考訳（メタデータ） (2024-10-09T08:19:31Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Learning Probabilistic Symmetrization for Architecture Agnostic Equivariance [16.49488981364657]
  群対称性を持つ学習関数における同変アーキテクチャの限界を克服する新しい枠組みを提案する。 我々は、不変量や変圧器のような任意の基底モデルを使用し、それを与えられた群に同変するように対称性付けする。 実証実験は、調整された同変アーキテクチャに対する競争結果を示す。
  論文  参考訳（メタデータ） (2023-06-05T13:40:54Z)
• EDGI: Equivariant Diffusion for Planning with Embodied Agents [17.931089055248062]
  身体的エージェントは構造化された世界で動作し、しばしば空間的、時間的、置換的な対称性でタスクを解く。 本稿では,モデルに基づく強化学習のためのアルゴリズムであるEquivariant diffuser for Generating Interactions (EDGI)を紹介する。 EDGI は非同変モデルよりもかなり効率的なサンプルであり、対称性群全体にわたってより一般化される。
  論文  参考訳（メタデータ） (2023-03-22T09:19:39Z)
• Equivariant Architectures for Learning in Deep Weight Spaces [54.61765488960555]
  重み空間の学習のための新しいネットワークアーキテクチャを提案する。 入力として、事前訓練された不変量の重みとバイアスの連結をとる。 これらのレイヤを3つの基本的な操作で実装する方法を示す。
  論文  参考訳（メタデータ） (2023-01-30T10:50:33Z)
• Architectural Optimization over Subgroups for Equivariant Neural Networks [0.0]
  準同値緩和同型と$[G]$-mixed同変層を提案し、部分群上の同値制約で演算する。 進化的および微分可能なニューラルアーキテクチャ探索(NAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-10-11T14:37:29Z)
• Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models [68.9288651177564]
  量子多体物理学から行列積演算子(MPO)に基づく新しいMoEアーキテクチャを提案する。 分解されたMPO構造により、元のMoEアーキテクチャのパラメータを減らすことができる。 GPT2に基づく3つの有名な下流自然言語データセットの実験は、モデルキャパシティの向上における性能と効率の向上を示している。
  論文  参考訳（メタデータ） (2022-03-02T13:44:49Z)
• Frame Averaging for Invariant and Equivariant Network Design [50.87023773850824]
  フレーム平均化(FA)は、既知の(バックボーン)アーキテクチャを新しい対称性タイプに不変あるいは同変に適応するためのフレームワークである。 FAモデルが最大表現力を持つことを示す。 我々は,新しいユニバーサルグラフニューラルネット(GNN),ユニバーサルユークリッド運動不変点クラウドネットワーク,およびユークリッド運動不変メッセージパッシング(MP)GNNを提案する。
  論文  参考訳（メタデータ） (2021-10-07T11:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。