論文の概要: Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint

• arxiv url: http://arxiv.org/abs/2206.04569v1
• Date: Thu, 9 Jun 2022 15:35:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 13:31:37.740854
• Title: Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint
• Title（参考訳）: 過パラメータ化畳み込み残差ネットワークの利点:滑らか性制約下における関数近似
• Authors: Hao Liu, Minshuo Chen, Siawpeng Er, Wenjing Liao, Tong Zhang, Tuo Zhao
• Abstract要約: 大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
• 参考スコア（独自算出の注目度）: 48.25573695787407
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Overparameterized neural networks enjoy great representation power on complex data, and more importantly yield sufficiently smooth output, which is crucial to their generalization and robustness. Most existing function approximation theories suggest that with sufficiently many parameters, neural networks can well approximate certain classes of functions in terms of the function value. The neural network themselves, however, can be highly nonsmooth. To bridge this gap, we take convolutional residual networks (ConvResNets) as an example, and prove that large ConvResNets can not only approximate a target function in terms of function value, but also exhibit sufficient first-order smoothness. Moreover, we extend our theory to approximating functions supported on a low-dimensional manifold. Our theory partially justifies the benefits of using deep and wide networks in practice. Numerical experiments on adversarial robust image classification are provided to support our theory.
• Abstract（参考訳）: 過パラメータ化されたニューラルネットワークは複雑なデータに対して大きな表現力を持ち、より重要なことは十分な滑らかな出力を産出する。 既存の関数近似理論の多くは、十分多くのパラメーターを持つニューラルネットワークが関数の特定のクラスを関数値の観点から近似できることを示唆している。 しかし、ニューラルネットワーク自体は非常に非滑らかである。 このギャップを埋めるために、畳み込み残余ネットワーク(ConvResNets)を例に挙げ、大きなConvResNetsは関数値で目的関数を近似するだけでなく、十分一階スムーズさを示すことができることを証明した。 さらに、この理論を低次元多様体上の近似関数に拡張する。 我々の理論は、深層ネットワークと広層ネットワークの利点を部分的に正当化している。 本理論を支持するために, 対向ロバスト画像分類に関する数値実験を行った。

関連論文リスト

• Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [82.03459331544737]
  非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。 我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
  論文  参考訳（メタデータ） (2023-07-04T11:08:03Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• On the Approximation and Complexity of Deep Neural Networks to Invariant Functions [0.0]
  深部ニューラルネットワークの不変関数への近似と複雑性について検討する。 様々なタイプのニューラルネットワークモデルにより、幅広い不変関数を近似できることを示す。 我々は,高分解能信号のパラメータ推定と予測を理論的結論と結びつけることが可能なアプリケーションを提案する。
  論文  参考訳（メタデータ） (2022-10-27T09:19:19Z)
• A Theoretical View on Sparsely Activated Networks [21.156069843782017]
  本稿では、一般的なアーキテクチャの健全な側面を捉えるデータ依存スパースネットワークの形式モデルを提案する。 次に、LSH(Locality sensitive hashing)に基づくルーティング関数を導入し、スパースネットワークがターゲット関数をどの程度うまく近似するかを判断する。 スパースネットワークはリプシッツ関数上の高密度ネットワークの近似力と一致することが証明できる。
  論文  参考訳（メタデータ） (2022-08-08T23:14:48Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Optimal Approximation with Sparse Neural Networks and Applications [0.0]
  深い疎結合ニューラルネットワークを用いて、関数クラスの複雑性を$L(mathbb Rd)$で測定する。 また、ニューラルネットワークを誘導する関数の可算コレクションである表現システムについても紹介する。 次に、レート歪曲理論とウェッジレット構成を用いて、$beta$マンガ的関数と呼ばれるクラスの複雑性を分析する。
  論文  参考訳（メタデータ） (2021-08-14T05:14:13Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Approximation smooth and sparse functions by deep neural networks without saturation [0.6396288020763143]
  本稿では,スムーズかつスパースな関数を近似するために,3つの層を隠蔽したディープニューラルネットワークを構築することを目的とする。 構成したディープネットは, 滑らかかつスパースな関数を制御可能な自由パラメータで近似することで, 最適近似率に達することを証明した。
  論文  参考訳（メタデータ） (2020-01-13T09:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。