論文の概要: On the High Symmetry of Neural Network Functions
- arxiv url: http://arxiv.org/abs/2211.06603v1
- Date: Sat, 12 Nov 2022 07:51:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 18:59:34.545771
- Title: On the High Symmetry of Neural Network Functions
- Title（参考訳）: ニューラルネットワーク関数の高対称性について
- Authors: Umberto Michelucci
- Abstract要約: ニューラルネットワークを訓練することは、高次元最適化問題を解決することを意味する。
本稿では,ニューラルネットワークの設計方法から,パラメータ空間においてニューラルネットワーク関数が非常に大きな対称性を示すことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Training neural networks means solving a high-dimensional optimization
problem. Normally the goal is to minimize a loss function that depends on what
is called the network function, or in other words the function that gives the
network output given a certain input. This function depends on a large number
of parameters, also known as weights, that depends on the network architecture.
In general the goal of this optimization problem is to find the global minimum
of the network function. In this paper it is discussed how due to how neural
networks are designed, the neural network function present a very large
symmetry in the parameter space. This work shows how the neural network
function has a number of equivalent minima, in other words minima that give the
same value for the loss function and the same exact output, that grows
factorially with the number of neurons in each layer for feed forward neural
network or with the number of filters in a convolutional neural networks. When
the number of neurons and layers is large, the number of equivalent minima
grows extremely fast. This will have of course consequences for the study of
how neural networks converges to minima during training. This results is known,
but in this paper for the first time a proper mathematical discussion is
presented and an estimate of the number of equivalent minima is derived.
- Abstract（参考訳）: ニューラルネットワークのトレーニングは、高次元最適化問題を解決することを意味する。
通常、目的はネットワーク関数と呼ばれるものに依存する損失関数を最小限にすることであり、言い換えれば、ある入力を与えられたネットワーク出力を与える関数である。
この関数は、ネットワークアーキテクチャに依存する多数のパラメータ(重みとしても知られる)に依存する。
一般に、この最適化問題の目標は、ネットワーク機能のグローバル最小値を見つけることである。
本稿では、ニューラルネットワークの設計方法から、パラメータ空間においてニューラルネットワーク関数が非常に大きな対称性を示す方法について論じる。
この研究は、ニューラルネットワーク関数が多くの等価なミニマを持つことを示す。言い換えれば、損失関数に同じ値を与え、同じ正確な出力を与えるミニマは、前方ニューラルネットワークを供給するための各レイヤのニューロン数や畳み込みニューラルネットワークのフィルタ数と因数的に増加する。
ニューロンとレイヤーの数が大きいと、同等のミニマの数が非常に速く成長する。
これはもちろん、ニューラルネットワークがトレーニング中にミニマにどのように収束するかの研究に影響を及ぼす。
この結果は知られているが、本論文で初めて適切な数学的議論が提示され、等価ミニマ数の推定が導かれる。
関連論文リスト
- Minimum number of neurons in fully connected layers of a given neural network (the first approximation) [0.0]
本稿では,任意のネットワークが与えられた問題を解く際の,完全連結層内のニューロンの最小数を探索するアルゴリズムを提案する。
提案アルゴリズムは,検出されたニューロン数のニューラルネットワークが要求される品質に適応可能であることを保証していないため,層内のニューロンの最小数を推定するための最初の近似である。
論文 参考訳（メタデータ） (2024-05-23T03:46:07Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Nonparametric regression using over-parameterized shallow ReLU neural networks [10.339057554827392]
ニューラルネットワークは、ある滑らかな関数クラスから関数を学習するために、最小収束率(対数係数まで)を達成することができることを示す。
回帰関数は、滑らかな$alpha(d+3)/2$あるいは浅いニューラルネットワークに対応する変分空間を持つH"古い空間から来ていると仮定される。
副産物として、浅いReLUニューラルネットワークの局所ラデマッハ複雑性に対する新しいサイズ非依存境界を導出する。
論文 参考訳（メタデータ） (2023-06-14T07:42:37Z) - Optimal Learning Rates of Deep Convolutional Neural Networks: Additive
Ridge Functions [19.762318115851617]
深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。
付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
論文 参考訳（メタデータ） (2022-02-24T14:22:32Z) - Neural networks with linear threshold activations: structure and
algorithms [1.795561427808824]
クラス内で表現可能な関数を表現するのに、2つの隠れたレイヤが必要であることを示す。
また、クラス内の任意の関数を表すのに必要なニューラルネットワークのサイズについて、正確な境界を与える。
我々は,線形しきい値ネットワークと呼ばれるニューラルネットワークの新たなクラスを提案する。
論文 参考訳（メタデータ） (2021-11-15T22:33:52Z) - Near-Minimax Optimal Estimation With Shallow ReLU Neural Networks [19.216784367141972]
本研究では,浅層(単層)ReLUニューラルネットワークを用いた雑音データから未知の関数を推定する問題について検討する。
我々は、データ生成関数がラドン領域における二階有界変動関数の空間に属するとき、これらのニューラルネットワーク推定器の性能を定量化する。
論文 参考訳（メタデータ） (2021-09-18T05:56:06Z) - Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。
最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文 参考訳（メタデータ） (2021-06-07T10:18:54Z) - The Connection Between Approximation, Depth Separation and Learnability
in Neural Networks [70.55686685872008]
学習可能性と近似能力の関係について検討する。
対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
論文 参考訳（メタデータ） (2021-01-31T11:32:30Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Graph Structure of Neural Networks [104.33754950606298]
ニューラルネットワークのグラフ構造が予測性能にどのように影響するかを示す。
リレーショナルグラフの"スイートスポット"は、予測性能を大幅に改善したニューラルネットワークにつながる。
トップパフォーマンスニューラルネットワークは、実際の生物学的ニューラルネットワークと驚くほどよく似たグラフ構造を持つ。
論文 参考訳（メタデータ） (2020-07-13T17:59:31Z) - Towards Understanding Hierarchical Learning: Benefits of Neural
Representations [160.33479656108926]
この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。
提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。
この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
論文 参考訳（メタデータ） (2020-06-24T02:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。