Fugu-MT 論文翻訳(概要): Estimating Full Lipschitz Constants of Deep Neural Networks

論文の概要: Estimating Full Lipschitz Constants of Deep Neural Networks

arxiv url: http://arxiv.org/abs/2004.13135v2
Date: Mon, 8 Jun 2020 16:29:11 GMT
ステータス: 処理完了
システム内更新日: 2022-12-09 04:53:42.661582
Title: Estimating Full Lipschitz Constants of Deep Neural Networks
Title（参考訳）: 深部ニューラルネットワークの完全リプシッツ定数の推定
Authors: Calypso Herrera, Florian Krach, Josef Teichmann
Abstract要約: 我々は、ディープニューラルネットワークの勾配とネットワーク自体のリプシッツ定数を、パラメータの完全な集合に対して推定する。まず, 制御された常微分方程式の解として表現できるすべてのニューラルネットワークについて, より一般的な枠組みで, ディープフィードフォワード高密度連結ネットワークの推定法を開発した。
参考スコア（独自算出の注目度）: 6.445605125467574
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We estimate the Lipschitz constants of the gradient of a deep neural network and the network itself with respect to the full set of parameters. We first develop estimates for a deep feed-forward densely connected network and then, in a more general framework, for all neural networks that can be represented as solutions of controlled ordinary differential equations, where time appears as continuous depth. These estimates can be used to set the step size of stochastic gradient descent methods, which is illustrated for one example method.
Abstract（参考訳）: 我々は、ディープニューラルネットワークの勾配とネットワーク自体のリプシッツ定数を、パラメータの完全な集合に対して推定する。まず、より一般的な枠組みで、制御された常微分方程式の解として表現できる全てのニューラルネットワークに対して、時間が連続的な深さとして現れる。これらの推定値は、一例に示すような確率勾配降下法のステップサイズを設定するのに利用できる。

関連論文リスト

Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
論文参考訳（メタデータ） (2024-04-29T23:38:58Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Feature Learning and Generalization in Deep Networks with Orthogonal Weights [1.7956122940209063]
独立なガウス分布からの数値的な重みを持つディープニューラルネットワークは臨界に調整することができる。これらのネットワークは、ネットワークの深さとともに線形に成長する変動を示す。行列のアンサンブルから得られるタン・アクティベーションと重みを持つ長方形のネットワークが、それに対応する事前アクティベーション・揺らぎを持つことを示す。
論文参考訳（メタデータ） (2023-10-11T18:00:02Z)
Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文参考訳（メタデータ） (2023-09-03T16:35:59Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Implicit Bias in Leaky ReLU Networks Trained on High-Dimensional Data [63.34506218832164]
本研究では,ReLUを活性化した2層完全連結ニューラルネットワークにおける勾配流と勾配降下の暗黙的バイアスについて検討する。勾配流には、均一なニューラルネットワークに対する暗黙のバイアスに関する最近の研究を活用し、リーク的に勾配流が2つ以上のランクを持つニューラルネットワークを生成することを示す。勾配降下は, ランダムな分散が十分小さい場合, 勾配降下の1ステップでネットワークのランクが劇的に低下し, トレーニング中もランクが小さくなることを示す。
論文参考訳（メタデータ） (2022-10-13T15:09:54Z)
Layer Ensembles [95.42181254494287]
本稿では,ネットワークの各層に対する独立なカテゴリ分布の集合を考慮した不確実性推定手法を提案する。その結果,メモリと実行時間が少なくなるモデルが得られた。
論文参考訳（メタデータ） (2022-10-10T17:52:47Z)
Generalization Error Bounds for Iterative Recovery Algorithms Unfolded as Neural Networks [6.173968909465726]
線形測定の少ないスパース再構成に適したニューラルネットワークの一般クラスを導入する。層間の重量共有を広範囲に行うことで、全く異なるニューラルネットワークタイプに対する統一的な分析を可能にします。
論文参考訳（メタデータ） (2021-12-08T16:17:33Z)
Critical Initialization of Wide and Deep Neural Networks through Partial Jacobians: General Theory and Applications [6.579523168465526]
ネットワークの固有ヤコビアン(enmphpartial Jacobians)を導入し、層$l$におけるプレアクティベーションの微分として定義し、層$l_0leq l$におけるプレアクティベーションについて述べる。我々は,部分ジャコビアンのノルムに対する再帰関係を導出し,これらの関係を利用して,LayerNormおよび/または残留接続を用いたディープ・完全連結ニューラルネットワークの臨界度を解析する。
論文参考訳（メタデータ） (2021-11-23T20:31:42Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。