論文の概要: An Embedding of ReLU Networks and an Analysis of their Identifiability
- arxiv url: http://arxiv.org/abs/2107.09370v1
- Date: Tue, 20 Jul 2021 09:43:31 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-21 19:51:11.090194
- Title: An Embedding of ReLU Networks and an Analysis of their Identifiability
- Title(参考訳): ReLUネットワークの埋め込みとその識別可能性の解析
- Authors: Pierre Stock and R\'emi Gribonval
- Abstract要約: 本稿では,任意の深さのReLUニューラルネットワークに対して,スケーリングに不変な$Phi(theta)$を導入している。
我々は、深いReLUネットワークが実際にその実現の知識から局所的に識別できる条件を導出する。
- 参考スコア(独自算出の注目度): 5.076419064097734
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural networks with the Rectified Linear Unit (ReLU) nonlinearity are
described by a vector of parameters $\theta$, and realized as a piecewise
linear continuous function $R_{\theta}: x \in \mathbb R^{d} \mapsto
R_{\theta}(x) \in \mathbb R^{k}$. Natural scalings and permutations operations
on the parameters $\theta$ leave the realization unchanged, leading to
equivalence classes of parameters that yield the same realization. These
considerations in turn lead to the notion of identifiability -- the ability to
recover (the equivalence class of) $\theta$ from the sole knowledge of its
realization $R_{\theta}$. The overall objective of this paper is to introduce
an embedding for ReLU neural networks of any depth, $\Phi(\theta)$, that is
invariant to scalings and that provides a locally linear parameterization of
the realization of the network. Leveraging these two key properties, we derive
some conditions under which a deep ReLU network is indeed locally identifiable
from the knowledge of the realization on a finite set of samples $x_{i} \in
\mathbb R^{d}$. We study the shallow case in more depth, establishing necessary
and sufficient conditions for the network to be identifiable from a bounded
subset $\mathcal X \subseteq \mathbb R^{d}$.
- Abstract(参考訳): Rectified Linear Unit (ReLU) 非線形性を持つニューラルネットワークはパラメータ $\theta$ のベクトルで記述され、断片線型連続関数 $R_{\theta}: x \in \mathbb R^{d} \mapsto R_{\theta}(x) \in \mathbb R^{k}$ として実現される。
パラメータ $\theta$ 上の自然スケーリングと置換操作は、その実現をそのままにして、同じ実現をもたらすパラメータの同値類を生み出す。
これらの考察は、その実現の唯一の知識である$r_{\theta}$から、(同値クラスの)$\theta$を回復する能力という、識別可能性の概念に繋がる。
本稿では,任意の深さのReLUニューラルネットワークに対して,スケールに不変な$\Phi(\theta)$を導入し,ネットワークの実現を局所的に線形パラメータ化する手法を提案する。
これら2つの重要な性質を利用すると、深いReLUネットワークが実際に局所的に特定できる条件は、サンプルの有限集合である$x_{i} \in \mathbb R^{d}$における実現の知識から導かれる。
浅層の場合をより深く研究し、有界部分集合 $\mathcal x \subseteq \mathbb r^{d}$ からネットワークを識別するための必要十分条件を確立する。
関連論文リスト
- Convergence of Gradient Descent for Recurrent Neural Networks: A
Nonasymptotic Analysis [19.95757894913852]
我々は,動的システムの教師付き学習環境において,勾配降下を訓練した繰り返しニューラルネットワークを解析した。
我々は、$n$サンプルでトレーニングされた適切なd型リカレントニューラルネットワークが、$n$で対数的にのみスケールするネットワークサイズ$m$で最適性を達成できることを示します。
論文 参考訳(メタデータ) (2024-02-19T15:56:43Z) - Piecewise Linear Functions Representable with Infinite Width Shallow
ReLU Neural Networks [0.0]
我々は,このような無限幅のニューラルネットワークで表現可能なすべての連続的片方向線形関数が,有限幅の浅いReLUニューラルネットワークとして表現可能であることを,オンジーらの予想を証明した。
論文 参考訳(メタデータ) (2023-07-25T15:38:18Z) - The Implicit Bias of Minima Stability in Multivariate Shallow ReLU
Networks [53.95175206863992]
本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。
我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
論文 参考訳(メタデータ) (2023-06-30T09:17:39Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳(メタデータ) (2022-06-02T19:45:10Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - The Separation Capacity of Random Neural Networks [78.25060223808936]
標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。
我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
論文 参考訳(メタデータ) (2021-07-31T10:25:26Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳(メタデータ) (2021-04-05T18:02:04Z) - Function approximation by deep neural networks with parameters $\{0,\pm
\frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。
構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文 参考訳(メタデータ) (2021-03-15T19:10:02Z) - Affine symmetries and neural network identifiability [0.0]
我々は、潜在的に複雑なアフィン対称性を持つ任意の非線形性を考える。
この対称性は、同じ関数が$f$となるようなネットワークのリッチな集合を見つけるのに利用できることを示す。
論文 参考訳(メタデータ) (2020-06-21T07:09:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。