Fugu-MT 論文翻訳(概要): Deep ReLU Networks Preserve Expected Length

論文の概要: Deep ReLU Networks Preserve Expected Length

arxiv url: http://arxiv.org/abs/2102.10492v1
Date: Sun, 21 Feb 2021 02:24:55 GMT
ステータス: 処理完了
システム内更新日: 2021-02-24 10:46:23.666263
Title: Deep ReLU Networks Preserve Expected Length
Title（参考訳）: 深部ReLUネットワークの長所を期待する
Authors: Boris Hanin, Ryan Jeong, David Rolnick
Abstract要約: 提案手法では,ReLUネットワークの場合,予測長歪みは深さとともに増大せず,実際にわずかに縮小することを示す。また、この結果は、長さ歪みの高次モーメントと高次元体積の歪みの両方に対して上界を証明して一般化する。
参考スコア（独自算出の注目度）: 30.773160470446612
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Assessing the complexity of functions computed by a neural network helps us understand how the network will learn and generalize. One natural measure of complexity is how the network distorts length -- if the network takes a unit-length curve as input, what is the length of the resulting curve of outputs? It has been widely believed that this length grows exponentially in network depth. We prove that in fact this is not the case: the expected length distortion does not grow with depth, and indeed shrinks slightly, for ReLU networks with standard random initialization. We also generalize this result by proving upper bounds both for higher moments of the length distortion and for the distortion of higher-dimensional volumes. These theoretical results are corroborated by our experiments, which indicate that length distortion remains modest even after training.
Abstract（参考訳）: ニューラルネットワークによって計算される関数の複雑さを評価することは、ネットワークがどのように学習し一般化するかを理解するのに役立つ。ネットワークが長さを歪める方法 - もしネットワークが単位長曲線を入力として取ると、結果の出力曲線の長さはどのくらいになるのか? この長さはネットワークの深さで指数関数的に増加すると広く信じられている。期待される長さの歪みは深さとともに成長せず、標準のランダム初期化を持つRELUネットワークでは、実際にわずかに縮小します。また、この結果は、長さ歪みの高次モーメントと高次元体積の歪みの両方に対して上界を証明して一般化する。これらの理論結果は実験結果と相関しており、トレーニング後も長さの歪みは控えめなままです。

関連論文リスト

Asymptotics of Learning with Deep Structured (Random) Features [9.366617422860543]
機能マップの大規模なクラスでは、読み出しレイヤの学習に伴うテストエラーの厳密な特徴付けを提供しています。いくつかのケースでは、勾配降下下で訓練された深部有限幅ニューラルネットワークによって学習された特徴写像をキャプチャできる。
論文参考訳（メタデータ） (2024-02-21T18:35:27Z)
Depth Separation in Norm-Bounded Infinite-Width Neural Networks [55.21840159087921]
無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
論文参考訳（メタデータ） (2024-02-13T21:26:38Z)
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文参考訳（メタデータ） (2023-03-06T23:01:53Z)
Depth Degeneracy in Neural Networks: Vanishing Angles in Fully Connected ReLU Networks on Initialization [5.678271181959529]
層数の関数としてReLUニューラルネットワークへの2つの入力間の角度の進化について検討する。モンテカルロ実験を用いて理論的結果を検証し, 有限ネットワークの挙動を正確に近似することを示した。また,深度縮退現象が実際のネットワークのトレーニングに悪影響を及ぼすかを実証的に検討した。
論文参考訳（メタデータ） (2023-02-20T01:30:27Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文参考訳（メタデータ） (2022-08-01T17:19:32Z)
Adversarial Examples in Multi-Layer Random ReLU Networks [39.797621513256026]
逆例は独立したガウスパラメータを持つReLUネットワークに現れる。ネットワーク内のボトルネック層は重要な役割を担っている。ある時点までの最小の幅は、その時点まで計算されたマッピングのスケールと感度を決定する。
論文参考訳（メタデータ） (2021-06-23T18:16:34Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
On the Predictability of Pruning Across Scales [29.94870276983399]
等級決定ネットワークの誤差は、アーキテクチャやタスクに依存する解釈可能な係数を持つスケーリング法則を経験的に従うことを示す。ニューラルネットワークがより大きく、訓練にコストがかかるようになるにつれて、我々の発見は、非構造化プルーニングの標準的な方法に関する概念的かつ分析的な推論の枠組みを示唆している。
論文参考訳（メタデータ） (2020-06-18T15:41:46Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。