Fugu-MT 論文翻訳(概要): Limitations on approximation by deep and shallow neural networks

論文の概要: Limitations on approximation by deep and shallow neural networks

arxiv url: http://arxiv.org/abs/2212.02223v1
Date: Wed, 30 Nov 2022 05:36:23 GMT
ステータス: 処理完了
システム内更新日: 2022-12-11 12:51:08.945104
Title: Limitations on approximation by deep and shallow neural networks
Title（参考訳）: 深層および浅層ニューラルネットワークによる近似の限界
Authors: Guergana Petrova and Przemys{\l}aw Wojtaszczyk
Abstract要約: 深部および浅部ニューラルネットワークによるコンパクト集合Kの近似誤差に対するカールの型不等式を証明する。これにより、近似がそのようなネットワークの出力から来ることを要求するとき、K 内の函数がどれだけうまく近似できるかの低い境界が与えられる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We prove Carl's type inequalities for the error of approximation of compact sets K by deep and shallow neural networks. This in turn gives lower bounds on how well we can approximate the functions in K when requiring the approximants to come from outputs of such networks. Our results are obtained as a byproduct of the study of the recently introduced Lipschitz widths.
Abstract（参考訳）: 深部および浅部ニューラルネットワークによるコンパクト集合Kの近似誤差に対するカールの型不等式を証明する。これにより、近似がそのようなネットワークの出力から来ることを要求するとき、K 内の函数がどれだけうまく近似できるかの低い境界が与えられる。その結果,最近導入されたリプシッツ幅の研究の副産物として得られた。

関連論文リスト

Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
論文参考訳（メタデータ） (2024-08-23T15:02:09Z)
Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文参考訳（メタデータ） (2023-12-18T22:29:40Z)
Neural networks: deep, shallow, or in between? [0.6043356028687779]
我々は、幅W、深さl、リプシッツ活性化関数を持つフィードフォワードニューラルネットワークの出力によるバナッハ空間からのコンパクト部分集合の近似誤差を推定する。モーモ対数係数は、エントロピー数の速度が無限大となるニューラルネットワークに対してのみ達成可能であることを示す。
論文参考訳（メタデータ） (2023-10-11T04:50:28Z)
From Complexity to Clarity: Analytical Expressions of Deep Neural Network Weights via Clifford's Geometric Algebra and Convexity [54.01594785269913]
我々は,標準正規化損失のトレーニングにおいて,深部ReLUニューラルネットワークの最適重みがトレーニングサンプルのウェッジ積によって与えられることを示した。トレーニング問題は、トレーニングデータセットの幾何学的構造をエンコードするウェッジ製品機能よりも凸最適化に還元される。
論文参考訳（メタデータ） (2023-09-28T15:19:30Z)
Expressivity of Shallow and Deep Neural Networks for Polynomial Approximation [0.0]
一般コンパクト領域上の積関数を近似する浅層ネットワークの複雑さの指数的下界を確立する。また、この下界は単位立方体上の正規化リプシッツ単項数には適用されないことを示した。
論文参考訳（メタデータ） (2023-03-06T23:01:53Z)
On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文参考訳（メタデータ） (2022-03-27T15:22:19Z)
Depth induces scale-averaging in overparameterized linear Bayesian neural networks [20.864082353441685]
ディープベイズニューラルネットワークにおける推論は無限幅極限においてのみ完全に理解される。ここでは,有限深度線形ベイズニューラルネットワークをガウス過程予測器のデータ依存スケール混合として,出力チャネルにわたって解釈する。
論文参考訳（メタデータ） (2021-11-23T15:48:47Z)
A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文参考訳（メタデータ） (2021-01-12T00:40:45Z)
Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
論文参考訳（メタデータ） (2020-07-11T22:10:52Z)
Approximating Lipschitz continuous functions with GroupSort neural networks [3.416170716497814]
近年の敵攻撃とワッサーシュタインGANはリプシッツ定数が制限されたニューラルネットワークの使用を提唱している。特に、これらのネットワークが任意のリプシッツ連続部分線型関数をどのように表現できるかを示す。また、それらがリプシッツ連続函数の近似に適しており、深さと大きさの両方の上限を示すことを証明する。
論文参考訳（メタデータ） (2020-06-09T13:37:43Z)
Lipschitz constant estimation of Neural Networks via sparse polynomial optimization [47.596834444042685]
LiPoptは、ニューラルネットワークのリプシッツ定数上のより厳密な上限を計算するためのフレームワークである。ネットワークの疎結合性を利用して、ネットワークの複雑さを大幅に軽減する方法を示す。ランダムな重みを持つネットワークと、MNISTで訓練されたネットワークで実験を行う。
論文参考訳（メタデータ） (2020-04-18T18:55:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。