論文の概要: Deep ReLU networks -- injectivity capacity upper bounds

• arxiv url: http://arxiv.org/abs/2412.19677v1
• Date: Fri, 27 Dec 2024 14:57:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:27:31.889520
• Title: Deep ReLU networks -- injectivity capacity upper bounds
• Title（参考訳）: 深部ReLUネットワーク-インジェクティビティキャパシティ上界
• Authors: Mihailo Stojnic,
• Abstract要約: 深部ReLUフィードフォワードニューラルネットワーク(NN)とそのインジェクティビティ能力について検討した。 任意の隠れレイヤアーキテクチャでは、ネットワークの出力と入力の最小比として定義される。 単一ReLU層インジェクティビティ特性の精密研究における最近の進歩は, より深いネットワークレベルに移行している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We study deep ReLU feed forward neural networks (NN) and their injectivity abilities. The main focus is on \emph{precisely} determining the so-called injectivity capacity. For any given hidden layers architecture, it is defined as the minimal ratio between number of network's outputs and inputs which ensures unique recoverability of the input from a realizable output. A strong recent progress in precisely studying single ReLU layer injectivity properties is here moved to a deep network level. In particular, we develop a program that connects deep $l$-layer net injectivity to an $l$-extension of the $\ell_0$ spherical perceptrons, thereby massively generalizing an isomorphism between studying single layer injectivity and the capacity of the so-called (1-extension) $\ell_0$ spherical perceptrons discussed in [82]. \emph{Random duality theory} (RDT) based machinery is then created and utilized to statistically handle properties of the extended $\ell_0$ spherical perceptrons and implicitly of the deep ReLU NNs. A sizeable set of numerical evaluations is conducted as well to put the entire RDT machinery in practical use. From these we observe a rapidly decreasing tendency in needed layers' expansions, i.e., we observe a rapid \emph{expansion saturation effect}. Only $4$ layers of depth are sufficient to closely approach level of no needed expansion -- a result that fairly closely resembles observations made in practical experiments and that has so far remained completely untouchable by any of the existing mathematical methodologies.
• Abstract（参考訳）: 本稿では,深部ReLUフィードフォワードニューラルネットワーク(NN)とそのインジェクティビティ能力について検討する。 主な焦点は、いわゆる射影能力を決定する「emph{precisely}」である。 任意の隠蔽層アーキテクチャでは、ネットワークの出力数と入力数の最小比として定義され、実現可能な出力から入力が一意に回復可能であることを保証している。 単一ReLU層インジェクティビティ特性の精密研究における最近の進歩は, より深いネットワークレベルに移行している。 特に、深い$l$層ネットインジェクションを$\ell_0$球状パーセプトロンの$l$-拡張に接続するプログラムを開発し、その結果、[82]で論じられたいわゆる(1-拡張)$\ell_0$球状パーセプトロンの容量と単一層インジェクティビティの研究の間の同型を大規模に一般化する。 \emph{Random duality theory} (RDT) ベースの機械は、拡張された $\ell_0$ 球面パーセプトロンの性質と深いReLU NNの暗黙的な性質を統計的に扱うために作成され、利用される。 また, RDT 装置全体を実用化するために, 小型の数値評価を行う。 これらのことから,必要な層の拡大が急速に減少する傾向,すなわち急激な 'emph{expansion saturation effect} が観察される。 4ドル(約4400円)の深さの層だけで、必要な拡張が不要なレベルに接近するのに十分であり、これは実際的な実験で行われた観測と非常によく似ており、既存の数学的方法論のどれにも完全に触れられていない結果である。

関連論文リスト

• MLPs at the EOC: Dynamics of Feature Learning [8.430481660019451]
  本稿では,勾配降下の収束とそれに伴う特徴の学習を説明する理論を提案する。 このような理論は、安定の端(EOS)やカタパルト機構など、実践者が観察する現象もカバーすべきである。
  論文  参考訳（メタデータ） (2025-02-18T18:23:33Z)
• Injectivity capacity of ReLU gates [0.0]
  本稿ではReLUネットワーク層のインジェクティビティ特性について考察する。 我々は,$ell_0$の球面パーセプトロンと暗黙的にReLU層インジェクティビティを扱う強力なプログラムを開発する。 得られた結果は[40]からのレプリカ予測とかなりよく一致している。
  論文  参考訳（メタデータ） (2024-10-28T00:57:10Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。 無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint [5.9954962391837885]
  ニューラルネットワークの勾配勾配勾配ダイナミクスをマクロ的限界レンズを用いて検討する。 我々の研究は、勾配降下がディープニューラルネットワークを高速でトレーニング損失ゼロに駆動できることを明らかにした。 我々のアプローチは、Neural Tangent Kernel(NTK)パラダイムからインスピレーションを得ている。
  論文  参考訳（メタデータ） (2024-04-07T08:07:02Z)
• Improve Generalization Ability of Deep Wide Residual Network with A Suitable Scaling Factor [0.0]
  例えば、$alpha$ が定数であれば、Residual Neural Kernel (RNTK) によって誘導される関数のクラスは、深さが無限大になるため、学習できないことを示す。 また, 深度$L$の増加とともに$alpha$の減少を許しても, 脱生現象は発生しうる, 驚くべき現象も強調する。
  論文  参考訳（メタデータ） (2024-03-07T14:40:53Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Scalable Lipschitz Residual Networks with Convex Potential Flows [120.27516256281359]
  残差ネットワーク勾配流における凸ポテンシャルを用いることで,1ドルのLipschitz変換が組み込まれていることを示す。 CIFAR-10の包括的な実験は、アーキテクチャのスケーラビリティと、証明可能な防御に$ell$のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2021-10-25T07:12:53Z)
• Improvising the Learning of Neural Networks on Hyperspherical Manifold [0.0]
  教師付き設定における畳み込みニューラルネットワーク(CNN)の影響は、大幅なパフォーマンス向上をもたらした。 CNNの超球面多様体上での操作から学んだ表現は、顔認識において洞察に富んだ結果をもたらした。 ユークリッド空間におけるソフトマックスよりも優れた超球直観によって、幅広い活性化関数が発達する。
  論文  参考訳（メタデータ） (2021-09-29T22:39:07Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。