論文の概要: Hidden symmetries of ReLU networks
- arxiv url: http://arxiv.org/abs/2306.06179v1
- Date: Fri, 9 Jun 2023 18:07:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 20:40:58.985378
- Title: Hidden symmetries of ReLU networks
- Title(参考訳): ReLUネットワークの隠れ対称性
- Authors: J. Elisenda Grigsby and Kathryn Lindsey and David Rolnick
- Abstract要約: 一部のネットワークでは、ある層内のニューロンの置換と、ニューロンにおけるパラメータの正のスケーリングが唯一の対称性であり、他のネットワークでは、追加の隠れ対称性が認められる。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
- 参考スコア(独自算出の注目度): 17.332539115959708
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The parameter space for any fixed architecture of feedforward ReLU neural
networks serves as a proxy during training for the associated class of
functions - but how faithful is this representation? It is known that many
different parameter settings can determine the same function. Moreover, the
degree of this redundancy is inhomogeneous: for some networks, the only
symmetries are permutation of neurons in a layer and positive scaling of
parameters at a neuron, while other networks admit additional hidden
symmetries. In this work, we prove that, for any network architecture where no
layer is narrower than the input, there exist parameter settings with no hidden
symmetries. We also describe a number of mechanisms through which hidden
symmetries can arise, and empirically approximate the functional dimension of
different network architectures at initialization. These experiments indicate
that the probability that a network has no hidden symmetries decreases towards
0 as depth increases, while increasing towards 1 as width and input dimension
increase.
- Abstract(参考訳): feedforward reluニューラルネットワークの固定されたアーキテクチャのパラメータ空間は、関連する関数クラスのトレーニングの間、プロキシとして機能するが、この表現はどの程度忠実か?
多くの異なるパラメータ設定が同じ関数を決定できることが知られている。
さらに、この冗長性の程度は不均一であり、あるネットワークでは、層内のニューロンの置換とニューロンのパラメータの正のスケーリングのみが対称性であり、他のネットワークは追加の隠れ対称性を認めている。
本研究では, 層が入力よりも狭いネットワークアーキテクチャでは, 隠れ対称性を持たないパラメータ設定が存在することを証明した。
また,隠れ対称性が生じる機構を多数記述し,初期化時に異なるネットワークアーキテクチャの機能的次元を実証的に近似する。
これらの実験は、ネットワークが隠れ対称性を持たない確率が深さが大きくなるにつれて0に減少し、幅と入力次元が増加するにつれて1に上昇することを示している。
関連論文リスト
- Geometry-induced Implicit Regularization in Deep ReLU Neural Networks [0.0]
暗黙の正則化現象は、まだよく理解されていないが、最適化中に起こる。
パラメータの異なる出力集合の幾何について検討する。
バッチ関数次元は隠蔽層内の活性化パターンによってほぼ確実に決定されることを示す。
論文 参考訳(メタデータ) (2024-02-13T07:49:57Z) - Going Beyond Neural Network Feature Similarity: The Network Feature
Complexity and Its Interpretation Using Category Theory [64.06519549649495]
機能的に等価な機能と呼ぶものの定義を提供します。
これらの特徴は特定の変換の下で等価な出力を生成する。
反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-10-10T16:27:12Z) - Depthwise Hyperparameter Transfer in Residual Networks: Dynamics and
Scaling Limit [48.291961660957384]
我々は,畳み込み型ResNetやVision Transformersなどの残余アーキテクチャが,幅と深さにまたがる最適なハイパーパラメータの転送を示すことを示す実験を行った。
ニューラルネットワーク学習力学の動的平均場理論(DMFT)記述の最近の発展から、このResNetsのパラメータ化は、無限幅および無限深度制限で明確に定義された特徴学習を許容することを示す。
論文 参考訳(メタデータ) (2023-09-28T17:20:50Z) - Expand-and-Cluster: Parameter Recovery of Neural Networks [10.37573252786225]
本研究は, 各ニューロンの入射重量が, 活性化関数によって最大150の合成問題を同定可能であることを示す。
本手法では, 対象ネットワークのパラメータを, (i) クラスタと, (ii) 対象ネットワークを識別するために, クラスタリング手法を用いて, 学生間の重みベクトルを明らかにする。
論文 参考訳(メタデータ) (2023-04-25T13:14:20Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳(メタデータ) (2023-02-27T18:52:38Z) - LieGG: Studying Learned Lie Group Generators [1.5293427903448025]
ニューラルネットワークに組み込まれた対称性は、データを保存して学習することで、幅広いタスクに対して非常に有益であるように思える。
本稿では,ニューラルネットワークが学習した対称性を抽出し,ネットワークの不変度を評価する手法を提案する。
論文 参考訳(メタデータ) (2022-10-09T20:42:37Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳(メタデータ) (2022-06-02T19:45:10Z) - Encoding Involutory Invariance in Neural Networks [1.6371837018687636]
ある状況では、ニューラルネットワーク(NN)は、基礎となる物理対称性に従うデータに基づいて訓練される。
本研究では、関数がパリティまでのインボリュート線型/ファイン変換に対して不変な特別な対称性について検討する。
数値実験により,提案モデルが与えられた対称性を尊重しながらベースラインネットワークより優れていたことが示唆された。
また,本手法を水平/垂直反射対称性を持つデータセットに対する畳み込みNN分類タスクに適用する手法も提案されている。
論文 参考訳(メタデータ) (2021-06-07T16:07:15Z) - Symmetry-via-Duality: Invariant Neural Network Densities from
Parameter-Space Correlators [0.0]
ネットワーク密度の対称性は、ネットワーク相関関数の二重計算によって決定できる。
初期密度における対称性の量は、Fashion-MNISTで訓練されたネットワークの精度に影響を与えることを示した。
論文 参考訳(メタデータ) (2021-06-01T18:00:06Z) - A Functional Perspective on Learning Symmetric Functions with Neural
Networks [48.80300074254758]
本研究では,測定値に基づいて定義されたニューラルネットワークの学習と表現について検討する。
正規化の異なる選択の下で近似と一般化境界を確立する。
得られたモデルは効率よく学習でき、入力サイズにまたがる一般化保証を享受できる。
論文 参考訳(メタデータ) (2020-08-16T16:34:33Z) - Neural Parameter Allocation Search [57.190693718951316]
ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。
既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。
我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。
NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
論文 参考訳(メタデータ) (2020-06-18T15:01:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。