論文の概要: Local Identifiability of Deep ReLU Neural Networks: the Theory

• arxiv url: http://arxiv.org/abs/2206.07424v1
• Date: Wed, 15 Jun 2022 09:54:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 15:16:42.522954
• Title: Local Identifiability of Deep ReLU Neural Networks: the Theory
• Title（参考訳）: 深部ReLUニューラルネットワークの局所的同定可能性:理論
• Authors: Joachim Bona-Pellissier (IMT), Fran\c{c}ois Malgouyres (IMT), Fran\c{c}ois Bachoc (IMT)
• Abstract要約: 重みのいくつかを固定することにより、与えられた深部ReLUニューラルネットワークの新しい局所パラメータ化を導入する。 我々はこの便利な表現から、局所的識別可能性の幾何学的必要十分条件を導出する。 この条件の妥当性は、バックプロパゲーションと行列ランク計算を用いて検証することができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Is a sample rich enough to determine, at least locally, the parameters of a neural network? To answer this question, we introduce a new local parameterization of a given deep ReLU neural network by fixing the values of some of its weights. This allows us to define local lifting operators whose inverses are charts of a smooth manifold of a high dimensional space. The function implemented by the deep ReLU neural network composes the local lifting with a linear operator which depends on the sample. We derive from this convenient representation a geometrical necessary and sufficient condition of local identifiability. Looking at tangent spaces, the geometrical condition provides: 1/ a sharp and testable necessary condition of identifiability and 2/ a sharp and testable sufficient condition of local identifiability. The validity of the conditions can be tested numerically using backpropagation and matrix rank computations.
• Abstract（参考訳）: サンプルは、少なくとも局所的に、ニューラルネットワークのパラメータを決定するのに十分な豊富か? この質問に答えるために,重みの値のいくつかを固定することで,与えられた深層reluニューラルネットワークの新しい局所パラメータ化を導入する。 これにより、高次元空間の滑らかな多様体のチャートを逆元とする局所昇降作用素を定義することができる。 deep reluニューラルネットワークによって実装された関数は、サンプルに依存する線形演算子で局所昇降を構成する。 我々はこの便利な表現から、局所的識別可能性の幾何学的必要十分条件を導出する。 接空間を考えると、幾何学的条件は、1/ シャープでテスト可能な必要条件の識別可能性、2/ シャープでテスト可能な局所識別可能性の十分条件を提供する。 条件の妥当性はバックプロパゲーションと行列ランク計算を用いて数値的に検証できる。

関連論文リスト

• The sampling complexity of learning invertible residual neural networks [9.614718680817269]
  フィードフォワードReLUニューラルネットワークをポイントサンプルから高い均一な精度で決定することは、次元性の呪いに苦しむことが示されている。 我々は、特定のニューラルネットワークアーキテクチャを制限することでサンプリングの複雑さを改善することができるかどうかを考察する。 我々の主な結果は、残差ニューラルネットワークアーキテクチャと可逆性は、より単純なフィードフォワードアーキテクチャで遭遇する複雑性障壁を克服する助けにならないことを示している。
  論文  参考訳（メタデータ） (2024-11-08T10:00:40Z)
• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Nonparametric regression using over-parameterized shallow ReLU neural networks [10.339057554827392]
  ニューラルネットワークは、ある滑らかな関数クラスから関数を学習するために、最小収束率(対数係数まで)を達成することができることを示す。 回帰関数は、滑らかな$alpha(d+3)/2$あるいは浅いニューラルネットワークに対応する変分空間を持つH"古い空間から来ていると仮定される。 副産物として、浅いReLUニューラルネットワークの局所ラデマッハ複雑性に対する新しいサイズ非依存境界を導出する。
  論文  参考訳（メタデータ） (2023-06-14T07:42:37Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• An Embedding of ReLU Networks and an Analysis of their Identifiability [5.076419064097734]
  本稿では,任意の深さのReLUニューラルネットワークに対して,スケーリングに不変な$Phi(theta)$を導入している。 我々は、深いReLUネットワークが実際にその実現の知識から局所的に識別できる条件を導出する。
  論文  参考訳（メタデータ） (2021-07-20T09:43:31Z)
• From observations to complexity of quantum states via unsupervised learning [0.0]
  自動エンコーダニューラルネットワークを用いた教師なし学習を用いて、時間進化状態の局所的複雑さを検出する。 我々のアプローチは、(ノイズの多い)量子シミュレータから得られたデータに対して理想的な診断ツールである。
  論文  参考訳（メタデータ） (2021-02-22T19:44:55Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Certifying Incremental Quadratic Constraints for Neural Networks via Convex Optimization [2.388501293246858]
  我々は,関心領域上のニューラルネットワークのマップ上で漸進的二次的制約を証明するための凸プログラムを提案する。 証明書は、(ローカル)Lipschitz連続性、片側Lipschitz連続性、反転性、および収縮などのいくつかの有用な特性をキャプチャできます。
  論文  参考訳（メタデータ） (2020-12-10T21:15:00Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。