論文の概要: An Embedding of ReLU Networks and an Analysis of their Identifiability
- arxiv url: http://arxiv.org/abs/2107.09370v1
- Date: Tue, 20 Jul 2021 09:43:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 19:51:11.090194
- Title: An Embedding of ReLU Networks and an Analysis of their Identifiability
- Title（参考訳）: ReLUネットワークの埋め込みとその識別可能性の解析
- Authors: Pierre Stock and R\'emi Gribonval
- Abstract要約: 本稿では,任意の深さのReLUニューラルネットワークに対して,スケーリングに不変な$Phi(theta)$を導入している。
我々は、深いReLUネットワークが実際にその実現の知識から局所的に識別できる条件を導出する。
- 参考スコア（独自算出の注目度）: 5.076419064097734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks with the Rectified Linear Unit (ReLU) nonlinearity are
described by a vector of parameters $\theta$, and realized as a piecewise
linear continuous function $R_{\theta}: x \in \mathbb R^{d} \mapsto
R_{\theta}(x) \in \mathbb R^{k}$. Natural scalings and permutations operations
on the parameters $\theta$ leave the realization unchanged, leading to
equivalence classes of parameters that yield the same realization. These
considerations in turn lead to the notion of identifiability -- the ability to
recover (the equivalence class of) $\theta$ from the sole knowledge of its
realization $R_{\theta}$. The overall objective of this paper is to introduce
an embedding for ReLU neural networks of any depth, $\Phi(\theta)$, that is
invariant to scalings and that provides a locally linear parameterization of
the realization of the network. Leveraging these two key properties, we derive
some conditions under which a deep ReLU network is indeed locally identifiable
from the knowledge of the realization on a finite set of samples $x_{i} \in
\mathbb R^{d}$. We study the shallow case in more depth, establishing necessary
and sufficient conditions for the network to be identifiable from a bounded
subset $\mathcal X \subseteq \mathbb R^{d}$.
- Abstract（参考訳）: Rectified Linear Unit (ReLU) 非線形性を持つニューラルネットワークはパラメータ $\theta$ のベクトルで記述され、断片線型連続関数 $R_{\theta}: x \in \mathbb R^{d} \mapsto R_{\theta}(x) \in \mathbb R^{k}$ として実現される。
パラメータ $\theta$ 上の自然スケーリングと置換操作は、その実現をそのままにして、同じ実現をもたらすパラメータの同値類を生み出す。
これらの考察は、その実現の唯一の知識である$r_{\theta}$から、(同値クラスの)$\theta$を回復する能力という、識別可能性の概念に繋がる。
本稿では,任意の深さのReLUニューラルネットワークに対して,スケールに不変な$\Phi(\theta)$を導入し,ネットワークの実現を局所的に線形パラメータ化する手法を提案する。
これら2つの重要な性質を利用すると、深いReLUネットワークが実際に局所的に特定できる条件は、サンプルの有限集合である$x_{i} \in \mathbb R^{d}$における実現の知識から導かれる。
浅層の場合をより深く研究し、有界部分集合 $\mathcal x \subseteq \mathbb r^{d}$ からネットワークを識別するための必要十分条件を確立する。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。
幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
論文 参考訳（メタデータ） (2024-07-04T11:34:42Z) - Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。
SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
論文 参考訳（メタデータ） (2024-06-03T17:56:58Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - Function approximation by deep neural networks with parameters $\{0,\pm
\frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。
構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文 参考訳（メタデータ） (2021-03-15T19:10:02Z) - Affine symmetries and neural network identifiability [0.0]
我々は、潜在的に複雑なアフィン対称性を持つ任意の非線形性を考える。
この対称性は、同じ関数が$f$となるようなネットワークのリッチな集合を見つけるのに利用できることを示す。
論文 参考訳（メタデータ） (2020-06-21T07:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。