論文の概要: Equivariant non-linear maps for neural networks on homogeneous spaces

• arxiv url: http://arxiv.org/abs/2504.20974v1
• Date: Tue, 29 Apr 2025 17:42:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.023574
• Title: Equivariant non-linear maps for neural networks on homogeneous spaces
• Title（参考訳）: 等質空間上のニューラルネットワークに対する等変非線型写像
• Authors: Elias Nyholm, Oscar Carlsson, Maurice Weiler, Daniel Persson,
• Abstract要約: 等質空間上の非線形同変ニューラルネットワーク層に対する新しい枠組みを提案する。 我々は、そのような層が満たさなければならない一般化されたステアビリティ制約を導出する。 複数の共通同変ネットワークアーキテクチャが我々のフレームワークからどのように派生するかを実証する。
• 参考スコア（独自算出の注目度）: 8.944149301388551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a novel framework for non-linear equivariant neural network layers on homogeneous spaces. The seminal work of Cohen et al. on equivariant $G$-CNNs on homogeneous spaces characterized the representation theory of such layers in the linear setting, finding that they are given by convolutions with kernels satisfying so-called steerability constraints. Motivated by the empirical success of non-linear layers, such as self-attention or input dependent kernels, we set out to generalize these insights to the non-linear setting. We derive generalized steerability constraints that any such layer needs to satisfy and prove the universality of our construction. The insights gained into the symmetry-constrained functional dependence of equivariant operators on feature maps and group elements informs the design of future equivariant neural network layers. We demonstrate how several common equivariant network architectures - $G$-CNNs, implicit steerable kernel networks, conventional and relative position embedded attention based transformers, and LieTransformers - may be derived from our framework.
• Abstract（参考訳）: 本稿では,同次空間上の非線形同変ニューラルネットワーク層に対する新しい枠組みを提案する。 等質空間上の同変$G$-CNN上のコーエンとアルのセミナルな仕事は、そのような層を線形設定で表現する理論を特徴付け、それらはいわゆるステアビリティ制約を満たすカーネルとの畳み込みによって与えられることを発見した。 自己アテンションやインプット依存カーネルなどの非線形レイヤの実証的成功に動機付けられ,これらの知見を非線形設定に一般化することにした。 我々は、そのような層が我々の構成の普遍性を満足し証明する必要があるという、一般化されたステアビリティ制約を導出する。 特徴写像と群要素に対する同変作用素の対称性制約関数依存に関する洞察は、将来の同変ニューラルネットワーク層の設計を知らせる。 本稿では,G$-CNN,暗黙的ステアブルカーネルネットワーク,従来および相対的位置埋め込み型アテンションベーストランスフォーマ,およびリートランスフォーマなど,いくつかの共通同変ネットワークアーキテクチャが,我々のフレームワークから派生する可能性を実証する。

関連論文リスト

• Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
  我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。 我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。 本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
  論文  参考訳（メタデータ） (2024-05-22T17:23:15Z)
• A Characterization Theorem for Equivariant Networks with Point-wise Activations [13.00676132572457]
  回転同変ネットワークは、連結コンパクト群に対して同変である任意のネットワークに対してのみ不変であることを示す。 本稿では, 畳み込み可能な畳み込み型ニューラルネットワークの特徴空間が, 自明な表現であることを示す。
  論文  参考訳（メタデータ） (2024-01-17T14:30:46Z)
• Optimization Dynamics of Equivariant and Augmented Neural Networks [2.7918308693131135]
  対称データに基づくニューラルネットワークの最適化について検討する。 アーキテクチャを制約する戦略を、データ拡張を使用する戦略と同等に扱う戦略と比較する。 後者の状況においても, 定常点が拡張トレーニングにおいて不安定であることは明らかだが, 明らかな同変モデルに対しては安定である。
  論文  参考訳（メタデータ） (2023-03-23T17:26:12Z)
• Geometrical aspects of lattice gauge equivariant convolutional neural networks [0.0]
  格子ゲージ同変畳み込みニューラルネットワーク(L-CNN)は、非アベリア格子ゲージ理論に適用可能な畳み込みニューラルネットワークの枠組みである。
  論文  参考訳（メタデータ） (2023-03-20T20:49:08Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Interrelation of equivariant Gaussian processes and convolutional neural networks [77.34726150561087]
  現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。 本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
  論文  参考訳（メタデータ） (2022-09-17T17:02:35Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• Generalization capabilities of neural networks in lattice applications [0.0]
  翻訳等変ニューラルネットワークを用いた非同変ニューラルネットワークの利点について検討する。 我々の最良の同変アーキテクチャは、その非同変アーキテクチャよりも大幅に性能を向上し、一般化できることが示される。
  論文  参考訳（メタデータ） (2021-12-23T11:48:06Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Lattice gauge equivariant convolutional neural networks [0.0]
  汎用機械学習アプリケーションのためのLattice gauge equivariant Convolutional Neural Networks (L-CNNs)を提案する。 L-CNNは従来の畳み込みニューラルネットワークでは見つけられないゲージ不変量を学習・一般化できることを示した。
  論文  参考訳（メタデータ） (2020-12-23T19:00:01Z)
• Stability of Algebraic Neural Networks to Small Perturbations [179.55535781816343]
  Algebraic Neural Network (AlgNN) は、代数的信号モデルと関連する各層のカスケードで構成されている。 畳み込みという形式的な概念を用いるアーキテクチャは、シフト演算子の特定の選択を超えて、いかに安定であるかを示す。
  論文  参考訳（メタデータ） (2020-10-22T09:10:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。