論文の概要: Affine symmetries and neural network identifiability

• arxiv url: http://arxiv.org/abs/2006.11727v2
• Date: Thu, 22 Oct 2020 11:10:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 11:57:48.948148
• Title: Affine symmetries and neural network identifiability
• Title（参考訳）: アフィン対称性とニューラルネットワークの識別性
• Authors: Verner Vla\v{c}i\'c and Helmut B\"olcskei
• Abstract要約: 我々は、潜在的に複雑なアフィン対称性を持つ任意の非線形性を考える。 この対称性は、同じ関数が$f$となるようなネットワークのリッチな集合を見つけるのに利用できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We address the following question of neural network identifiability: Suppose we are given a function $f:\mathbb{R}^m\to\mathbb{R}^n$ and a nonlinearity $\rho$. Can we specify the architecture, weights, and biases of all feed-forward neural networks with respect to $\rho$ giving rise to $f$? Existing literature on the subject suggests that the answer should be yes, provided we are only concerned with finding networks that satisfy certain "genericity conditions". Moreover, the identified networks are mutually related by symmetries of the nonlinearity. For instance, the $\tanh$ function is odd, and so flipping the signs of the incoming and outgoing weights of a neuron does not change the output map of the network. The results known hitherto, however, apply either to single-layer networks, or to networks satisfying specific structural assumptions (such as full connectivity), as well as to specific nonlinearities. In an effort to answer the identifiability question in greater generality, we consider arbitrary nonlinearities with potentially complicated affine symmetries, and we show that the symmetries can be used to find a rich set of networks giving rise to the same function $f$. The set obtained in this manner is, in fact, exhaustive (i.e., it contains all networks giving rise to $f$) unless there exists a network $\mathcal{A}$ "with no internal symmetries" giving rise to the identically zero function. This result can thus be interpreted as an analog of the rank-nullity theorem for linear operators. We furthermore exhibit a class of "$\tanh$-type" nonlinearities (including the tanh function itself) for which such a network $\mathcal{A}$ does not exist, thereby solving the identifiability question for these nonlinearities in full generality. Finally, we show that this class contains nonlinearities with arbitrarily complicated symmetries.
• Abstract（参考訳）: 例えば、関数 $f:\mathbb{R}^m\to\mathbb{R}^n$ と非線形性を $\rho$ とする。 すべてのフィードフォワードニューラルネットワークのアーキテクチャ、重み、バイアスを、$\rho$で$f$に設定できますか? 既存の文献では、ある「汎用性条件」を満たすネットワークを見つけることにのみ関心があるので、答えはイエスであるべきだと示唆している。 さらに、同定されたネットワークは非線形性の対称性によって相互に関連している。 例えば、$\tanh$関数は奇数であるため、ニューロンの入出力重みの符号を反転しても、ネットワークの出力マップは変化しない。 しかし、ヒッヘルトとして知られる結果は、単層ネットワーク、または特定の構造的仮定を満たすネットワーク(完全な接続性など)、および特定の非線形性に適用される。 一般性を高めるために,複雑なアフィン対称性を持つ任意の非線形性について検討し,その対称性を用いて,同じ関数 f$ を発生させるリッチなネットワーク群を求めることができることを示した。 この方法で得られる集合は、実のところ、(つまり、$f$ を生じさせるすべてのネットワークを含む)徹底的であるが、ネットワーク $\mathcal{a}$ "内部対称性なし" が存在しなければ、同一に 0 の関数が得られる。 したがって、この結果は線型作用素のランク-零性定理の類似と解釈できる。 さらに、そのようなネットワーク$\mathcal{a}$が存在しない「$\tanh$-型」非線形性(tanh関数自身を含む)のクラスを示し、これらの非線形性の完全一般性における識別可能性問題を解く。 最後に、このクラスは任意に複雑な対称性を持つ非線形性を含むことを示す。

関連論文リスト

• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
  無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。 有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
  論文  参考訳（メタデータ） (2022-12-23T04:48:04Z)
• Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems [6.84380898679299]
  現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。 ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
  論文  参考訳（メタデータ） (2022-08-28T22:44:07Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• An Embedding of ReLU Networks and an Analysis of their Identifiability [5.076419064097734]
  本稿では,任意の深さのReLUニューラルネットワークに対して,スケーリングに不変な$Phi(theta)$を導入している。 我々は、深いReLUネットワークが実際にその実現の知識から局所的に識別できる条件を導出する。
  論文  参考訳（メタデータ） (2021-07-20T09:43:31Z)
• Geometry of the Loss Landscape in Overparameterized Neural Networks: Symmetries and Invariances [9.390008801320024]
  それぞれに1つの余分なニューロンを加えると、以前の離散ミニマを1つの多様体に接続するのに十分であることを示す。 対称性によって誘導される臨界部分空間の数が、大域ミニマ多様体を構成するアフィン部分空間の数を支配していることを示す。
  論文  参考訳（メタデータ） (2021-05-25T21:19:07Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Nonclosedness of Sets of Neural Networks in Sobolev Spaces [0.0]
  実現されたニューラルネットワークは順序で閉じていないことを示す--(m-1)$ソボレフ空間$Wm-1,p$ for $p in [1,infty]$。 実解析的アクティベーション関数に対して、実現されたニューラルネットワークの集合は、mathbbN$の任意の$kに対して$Wk,p$で閉じていないことを示す。
  論文  参考訳（メタデータ） (2020-07-23T00:57:25Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。