Fugu-MT 論文翻訳(概要): Neural networks: deep, shallow, or in between?

論文の概要: Neural networks: deep, shallow, or in between?

arxiv url: http://arxiv.org/abs/2310.07190v1
Date: Wed, 11 Oct 2023 04:50:28 GMT
ステータス: 処理完了
システム内更新日: 2023-10-13 00:25:04.989784
Title: Neural networks: deep, shallow, or in between?
Title（参考訳）: ニューラルネットワーク:深いもの、浅いもの、中間のもの?
Authors: Guergana Petrova and Przemyslaw Wojtaszczyk
Abstract要約: 我々は、幅W、深さl、リプシッツ活性化関数を持つフィードフォワードニューラルネットワークの出力によるバナッハ空間からのコンパクト部分集合の近似誤差を推定する。モーモ対数係数は、エントロピー数の速度が無限大となるニューラルネットワークに対してのみ達成可能であることを示す。
参考スコア（独自算出の注目度）: 0.6043356028687779
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We give estimates from below for the error of approximation of a compact subset from a Banach space by the outputs of feed-forward neural networks with width W, depth l and Lipschitz activation functions. We show that, modulo logarithmic factors, rates better that entropy numbers' rates are possibly attainable only for neural networks for which the depth l goes to infinity, and that there is no gain if we fix the depth and let the width W go to infinity.
Abstract（参考訳）: 本稿では,幅W,深さl,リプシッツの活性化関数を持つフィードフォワードニューラルネットワークの出力によるバナッハ空間からのコンパクト部分集合の近似誤差を以下から推定する。両対数係数は、深さlが無限大となるニューラルネットワークに対してのみエントロピー数の速度が達成可能である可能性があり、深さを固定して幅Wを無限大にすると利得がないことを示す。

関連論文リスト

On the Neural Tangent Kernel of Equilibrium Models [72.29727250679477]
本研究は、Deep equilibrium(DEQ)モデルのニューラル・タンジェント・カーネル(NTK)を研究する。一方,DECモデルでは,幅と深さが無限大であるにもかかわらず,まだ決定論的NTKを満足していることを示す。
論文参考訳（メタデータ） (2023-10-21T16:47:18Z)
How Many Neurons Does it Take to Approximate the Maximum? [10.995895410470279]
我々は、$d$入力以上の最大関数を近似するために必要なニューラルネットワークのサイズについて検討する。様々な深さにまたがる近似に必要な幅について, 新たな下限と上限を提供する。
論文参考訳（メタデータ） (2023-07-18T12:47:35Z)
Width and Depth Limits Commute in Residual Networks [26.97391529844503]
接続をスキップするディープニューラルネットワークにおいて、幅と深さを無限大にすると、その制限がどう取られるかに関わらず、同じ共分散構造が得られることを示す。このことは、標準無限幅奥行きアプローチが、幅と同じ順序の深さのネットワークに対しても実用的な洞察を与える理由を説明する。理論的な結果と良好な一致を示す広範囲なシミュレーションを行う。
論文参考訳（メタデータ） (2023-02-01T13:57:32Z)
Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文参考訳（メタデータ） (2022-12-29T20:57:46Z)
The Onset of Variance-Limited Behavior for Networks in the Lazy and Rich Regimes [75.59720049837459]
無限幅挙動からこの分散制限状態への遷移をサンプルサイズ$P$とネットワーク幅$N$の関数として検討する。有限サイズ効果は、ReLUネットワークによる回帰のために、$P* sim sqrtN$の順序で非常に小さなデータセットに関係があることが分かる。
論文参考訳（メタデータ） (2022-12-23T04:48:04Z)
The Limitations of Large Width in Neural Networks: A Deep Gaussian Process Perspective [34.67386186205545]
本稿では、ニューラルネットワークの一般化による容量と幅をディープガウス過程(ディープGP)に分離する。驚くべきことに、非パラメトリックディープGPでさえガウス過程に収束し、表現力の増大なしに事実上より浅くなることを証明する。 GP動作を制限する前にテストセットのパフォーマンスを最大化する「スイートスポット」があることが、非パラメトリックディープGPの場合、幅 = 1 または幅 = 2 で発生する適応性を妨げている。
論文参考訳（メタデータ） (2021-06-11T17:58:58Z)
Size and Depth Separation in Approximating Natural Functions with Neural Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文参考訳（メタデータ） (2021-01-30T21:30:11Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文参考訳（メタデータ） (2020-05-25T07:23:47Z)
On Random Kernels of Residual Architectures [93.94469470368988]
ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
論文参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。