論文の概要: Monomial Matrix Group Equivariant Neural Functional Networks
- arxiv url: http://arxiv.org/abs/2409.11697v1
- Date: Wed, 18 Sep 2024 04:36:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 19:10:09.479374
- Title: Monomial Matrix Group Equivariant Neural Functional Networks
- Title(参考訳): 単項行列群同変ニューラルネットワーク
- Authors: Hoang V. Tran, Thieu N. Vo, Tho H. Tran, An T. Nguyen, Tan Minh Nguyen,
- Abstract要約: ネットワーク重みに対するグループアクションの研究を、スケーリング/サイン・フリップの対称性を取り入れて拡張する。
我々はNFNの新しいファミリーをMonomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN)と名付けた。
- 参考スコア(独自算出の注目度): 2.2585950422059415
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural functional networks (NFNs) have recently gained significant attention due to their diverse applications, ranging from predicting network generalization and network editing to classifying implicit neural representation. Previous NFN designs often depend on permutation symmetries in neural networks' weights, which traditionally arise from the unordered arrangement of neurons in hidden layers. However, these designs do not take into account the weight scaling symmetries of $\operatorname{ReLU}$ networks, and the weight sign flipping symmetries of $\operatorname{sin}$ or $\operatorname{tanh}$ networks. In this paper, we extend the study of the group action on the network weights from the group of permutation matrices to the group of monomial matrices by incorporating scaling/sign-flipping symmetries. Particularly, we encode these scaling/sign-flipping symmetries by designing our corresponding equivariant and invariant layers. We name our new family of NFNs the Monomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN). Because of the expansion of the symmetries, Monomial-NFN has much fewer independent trainable parameters compared to the baseline NFNs in the literature, thus enhancing the model's efficiency. Moreover, for fully connected and convolutional neural networks, we theoretically prove that all groups that leave these networks invariant while acting on their weight spaces are some subgroups of the monomial matrix group. We provide empirical evidences to demonstrate the advantages of our model over existing baselines, achieving competitive performance and efficiency.
- Abstract(参考訳): ニューラルネットワーク(NFN)は,ネットワークの一般化やネットワーク編集の予測から暗黙のニューラル表現の分類に至るまで,さまざまな用途で注目されている。
以前のNFNの設計は、ニューラルネットワークの重みの置換対称性に依存することが多い。
しかしながら、これらの設計は、$\operatorname{ReLU}$ネットワークのウェイトスケーリング対称性と$\operatorname{sin}$または$\operatorname{tanh}$ネットワークのウェイトサイン反転対称性を考慮していない。
本稿では,ネットワーク重みに対する群作用の研究を,スケーリング・サイン・フリップ対称性を取り入れて,置換行列群から単項行列群へ拡張する。
特に、対応する同変層と不変層を設計することで、これらのスケーリング/サイン・フリップ対称性を符号化する。
我々はNFNの新しいファミリーをMonomial Matrix Group Equivariant Neural Functional Networks (Monomial-NFN)と名付けた。
対称性の拡大により、Monomial-NFNは文献のベースラインであるNFNに比べて、独立したトレーニング可能なパラメータがはるかに少ないため、モデルの効率が向上する。
さらに、完全連結および畳み込みニューラルネットワークの場合、重み空間上で作用しながらこれらのネットワークを離れるすべての群が単項行列群のいくつかの部分群であることが理論的に証明される。
既存のベースラインよりもモデルの利点を実証するための実証的な証拠を提供し、競争性能と効率性を達成する。
関連論文リスト
- Equivariant Polynomial Functional Networks [2.3963215252605172]
ニューラルネットワーク(NFN)の鍵となる設計原理は、入力ニューラルネットワークの接続構造に固有の置換とスケーリングの対称性に固執することである。
近年のNFNは、グラフベースのメッセージパッシング機構またはパラメータ共有機構に基づいて、置換とスケーリングの等式が提案されている。
MAG-NFN(Monomial mAtrix Group Equivariant Polynomial NFN)の開発を目的とした新しい解法を提案する。
論文 参考訳(メタデータ) (2024-10-05T16:10:19Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳(メタデータ) (2024-05-22T17:23:15Z) - Non Commutative Convolutional Signal Models in Neural Networks:
Stability to Small Deformations [111.27636893711055]
非可換畳み込みフィルタのフィルタ特性と安定性について検討する。
この結果は,グループニューラルネットワーク,マルチグラフニューラルネットワーク,四元系ニューラルネットワークに直接影響する。
論文 参考訳(メタデータ) (2023-10-05T20:27:22Z) - Neural Functional Transformers [99.98750156515437]
本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。
NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。
Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
論文 参考訳(メタデータ) (2023-05-22T23:38:27Z) - Geometrical aspects of lattice gauge equivariant convolutional neural
networks [0.0]
格子ゲージ同変畳み込みニューラルネットワーク(L-CNN)は、非アベリア格子ゲージ理論に適用可能な畳み込みニューラルネットワークの枠組みである。
論文 参考訳(メタデータ) (2023-03-20T20:49:08Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - Connecting Permutation Equivariant Neural Networks and Partition Diagrams [0.0]
置換同変ニューラルネットワークに現れる重み行列はすべて、シュル=ワイル双対性から得られることを示す。
特に、シュル=ワイル双対性を適用して、ウェイト行列自身を計算するための単純で図式的な手法を導出する。
論文 参考訳(メタデータ) (2022-12-16T18:48:54Z) - Interrelation of equivariant Gaussian processes and convolutional neural
networks [77.34726150561087]
現在、ニューラルネットワーク(NN)とガウス過程(GP)の関係に基づく機械学習(ML)には、かなり有望な新しい傾向がある。
本研究では、ベクトル値のニューロン活性化を持つ2次元ユークリッド群とそれに対応する独立に導入された同変ガウス過程(GP)との関係を確立する。
論文 参考訳(メタデータ) (2022-09-17T17:02:35Z) - Implicit Bias of Linear Equivariant Networks [2.580765958706854]
群同変畳み込みニューラルネットワーク(G-CNN)は畳み込みニューラルネットワーク(CNN)の一般化である
低ランクフーリエ行列係数の解に勾配勾配勾配を学習した$L$層全幅線形G-CNNが収束することを示す。
論文 参考訳(メタデータ) (2021-10-12T15:34:25Z) - Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。
本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。
数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。
また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
論文 参考訳(メタデータ) (2021-06-07T16:07:15Z) - MDP Homomorphic Networks: Group Symmetries in Reinforcement Learning [90.20563679417567]
本稿では,深層強化学習のためのMDP準同型ネットワークを提案する。
MDP準同型ネットワーク(英: MDP homomorphic network)は、MDPの結合状態-作用空間における対称性の下で不変なニューラルネットワークである。
このようなネットワークは,グリッドワールドであるCartPoleとPongの非構造化ネットワークよりも高速に収束することを示す。
論文 参考訳(メタデータ) (2020-06-30T15:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。