Fugu-MT 論文翻訳(概要): Stability of Deep Neural Networks via discrete rough paths

論文の概要: Stability of Deep Neural Networks via discrete rough paths

arxiv url: http://arxiv.org/abs/2201.07566v1
Date: Wed, 19 Jan 2022 12:40:28 GMT
ステータス: 処理完了
システム内更新日: 2022-01-20 15:24:50.447021
Title: Stability of Deep Neural Networks via discrete rough paths
Title（参考訳）: 離散的粗経路によるディープニューラルネットワークの安定性
Authors: Christian Bayer, Peter K. Friz, Nikolas Tapia
Abstract要約: 入力データとトレーニングされたネットワーク重みの両面から,Deep Residual Neural Networksの出力の事前推定を行う。我々は、残差ニューラルネットワークを(粗)差分方程式の解として解釈し、離散時間シグネチャと粗経路理論の最近の結果に基づいてそれらを解析する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Using rough path techniques, we provide a priori estimates for the output of Deep Residual Neural Networks in terms of both the input data and the (trained) network weights. As trained network weights are typically very rough when seen as functions of the layer, we propose to derive stability bounds in terms of the total $p$-variation of trained weights for any $p\in[1,3]$. Unlike the $C^1$-theory underlying the neural ODE literature, our estimates remain bounded even in the limiting case of weights behaving like Brownian motions, as suggested in [arXiv:2105.12245]. Mathematically, we interpret residual neural network as solutions to (rough) difference equations, and analyse them based on recent results of discrete time signatures and rough path theory.
Abstract（参考訳）: 粗い経路法を用いて、入力データと(訓練された)ネットワーク重みの双方の観点から、ディープ残留ニューラルネットワークの出力に対する事前推定を行う。トレーニングされたネットワーク重みは、通常、層の関数と見なすと非常に粗いので、任意の$p\in[1,3]$に対してトレーニングされた重みの合計$p$-variationという観点から、安定性境界を求める。 axiv:2105.12245] で示唆されるようなブラウン運動のように振る舞う重みの制限ケースにおいても、神経ode の文献の基礎となる $c^1$-理論とは異なり、推定値には限界がある。数学的には、残留ニューラルネットワークを(粗)差分方程式の解として解釈し、離散時間シグネチャと粗経路理論の最近の結果に基づいて解析する。

関連論文リスト

Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint [5.9954962391837885]
ニューラルネットワークの勾配勾配勾配ダイナミクスをマクロ的限界レンズを用いて検討する。我々の研究は、勾配降下がディープニューラルネットワークを高速でトレーニング損失ゼロに駆動できることを明らかにした。我々のアプローチは、Neural Tangent Kernel(NTK)パラダイムからインスピレーションを得ている。
論文参考訳（メタデータ） (2024-04-07T08:07:02Z)
Speed Limits for Deep Learning [67.69149326107103]
熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
論文参考訳（メタデータ） (2023-07-27T06:59:46Z)
Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy [52.40331776572531]
ガウス入力分布下での学習深度3$ReLUネットワークはスムーズな解析フレームワークにおいても困難であることを示す。この結果は, 局所擬似乱数発生器の存在についてよく研究されている。
論文参考訳（メタデータ） (2023-02-15T02:00:26Z)
Pruning Neural Networks via Coresets and Convex Geometry: Towards No Assumptions [10.635248457021499]
プルーニングはディープニューラルネットワーク(DNN)を圧縮するための主要なアプローチの1つであるモデルの重みと入力を軽度に仮定して,そのようなコアセットを計算するための,新しい,堅牢なフレームワークを提案する。提案手法は,既存のコアセットに基づくニューラルプルーニング手法を,幅広いネットワークやデータセットで性能的に向上させる。
論文参考訳（メタデータ） (2022-09-18T12:45:26Z)
Approximation results for Gradient Descent trained Shallow Neural Networks in $1d$ [0.0]
広範に研究されているニューラルネットワークの2つの側面は、関数近似特性と勾配降下法によるトレーニングである。現在の文献の大半では、これらの重量は完全にまたは部分的に手作りであるが、必ずしも実用的性能ではない。本稿では、これらの2つの要求のバランスをとり、勾配降下による非重み付け最適化とともに、ニューラルネットワークの近似結果を1d$で提供する。
論文参考訳（メタデータ） (2022-09-17T20:26:19Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Stable Recovery of Entangled Weights: Towards Robust Identification of Deep Neural Networks from Minimal Samples [0.0]
連続した層の重みを、活性化関数とそのシフトに応じて適切な対角行列と反転行列と絡み合ういわゆる絡み合い重みを紹介します。エンタングル重みは効率的でロバストなアルゴリズムによって完全かつ安定に近似することが証明される。本研究は,入力出力情報をネットワークパラメータに一意かつ安定的に関連付けることができ,説明可能性の一形態を提供する。
論文参考訳（メタデータ） (2021-01-18T16:31:19Z)
A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
論文参考訳（メタデータ） (2020-07-02T05:07:55Z)
Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文参考訳（メタデータ） (2020-04-20T18:12:56Z)
A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。これは、トレーニング損失が一定の精度まで線形に収束することを意味する。また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。