論文の概要: Using activation histograms to bound the number of affine regions in
ReLU feed-forward neural networks
- arxiv url: http://arxiv.org/abs/2103.17174v1
- Date: Wed, 31 Mar 2021 15:50:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-01 19:01:18.632614
- Title: Using activation histograms to bound the number of affine regions in
ReLU feed-forward neural networks
- Title（参考訳）: ReLUフィードフォワードニューラルネットワークにおける活性化ヒストグラムを用いたアフィン領域の結合
- Authors: Peter Hinz and Sara van de Geer
- Abstract要約: ReLUフィードフォワードニューラルネットワークのアフィン領域の最大数に対するいくつかの電流境界は特別な場合である。
我々は,この枠組みを十分に活用する代数トポロジーの問題を分析し,部分的に解決する。
- 参考スコア（独自算出の注目度）: 3.04585143845864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Several current bounds on the maximal number of affine regions of a ReLU
feed-forward neural network are special cases of the framework [1] which relies
on layer-wise activation histogram bounds. We analyze and partially solve a
problem in algebraic topology the solution of which would fully exploit this
framework. Our partial solution already induces slightly tighter bounds and
suggests insight in how parameter initialization methods can affect the number
of regions. Furthermore, we extend the framework to allow the composition of
subnetwork instead of layer-wise activation histogram bounds to reduce the
number of required compositions which negatively affect the tightness of the
resulting bound.
- Abstract（参考訳）: ReLUフィードフォワードニューラルネットワークのアフィン領域の最大値に関するいくつかの電流境界は、階層的活性化ヒストグラム境界に依存するフレームワーク[1]の特別な場合である。
我々は,この枠組みを十分に活用する代数トポロジーの問題を分析し,部分的に解決する。
我々の部分解は、既により狭い境界を誘導し、パラメータ初期化メソッドが領域数にどのように影響するかについての洞察を示唆している。
さらに, 階層的活性化ヒストグラム境界の代わりにサブネットワークの構成を許容するようにフレームワークを拡張し, 結果として生じる境界の強みに悪影響を及ぼす必要成分の数を減らす。
関連論文リスト
- Topological obstruction to the training of shallow ReLU neural networks [0.0]
損失ランドスケープの幾何学と単純なニューラルネットワークの最適化軌跡との相互作用について検討する。
本稿では,勾配流を用いた浅部ReLUニューラルネットワークの損失景観におけるトポロジカル障害物の存在を明らかにする。
論文 参考訳（メタデータ） (2024-10-18T19:17:48Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Zonotope Domains for Lagrangian Neural Network Verification [102.13346781220383]
我々は、ディープニューラルネットワークを多くの2層ニューラルネットワークの検証に分解する。
我々の手法は線形プログラミングとラグランジアンに基づく検証技術の両方により改善された境界を与える。
論文 参考訳（メタデータ） (2022-10-14T19:31:39Z) - Improved Overparametrization Bounds for Global Convergence of Stochastic
Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文 参考訳（メタデータ） (2022-01-28T11:30:06Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Limiting fluctuation and trajectorial stability of multilayer neural
networks with mean field training [3.553493344868413]
ネットワーク深度における多層ネットワークの場合の変動について検討する。
この2階のMF限界におけるニューロン間の複雑な相互作用の枠組みを実演する。
極限定理は、この極限と大幅ネットワークのゆらぎを関連付けることが証明されている。
論文 参考訳（メタデータ） (2021-10-29T17:58:09Z) - Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks [0.0]
浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。
これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
論文 参考訳（メタデータ） (2021-06-28T22:01:42Z) - Hierarchical Verification for Adversarial Robustness [89.30150585592648]
正解点$ell_p$ロバスト性検証問題に対する新しいフレームワークを提案する。
LayerCertは、修正線形アクティベーション(ReLU)を用いたディープフィードフォワードネットワークの階層的幾何構造を利用する
提案手法は,GeoCertに比べて,解決すべき凸プログラムの数とサイズを確実に削減できることを示す。
論文 参考訳（メタデータ） (2020-07-23T07:03:05Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - On Sparsity in Overparametrised Shallow ReLU Networks [42.33056643582297]
無限に広い状態であっても、限られた数のニューロンしか必要としない解を捉えるための異なる正規化戦略の能力について検討する。
オーバーパラメトリゼーションの量に関係なく、両方のスキームは、有限個のニューロンしか持たない関数によって最小化される。
論文 参考訳（メタデータ） (2020-06-18T01:35:26Z) - Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。
本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文 参考訳（メタデータ） (2020-02-18T16:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。