Fugu-MT 論文翻訳(概要): Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations

論文の概要: Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations

arxiv url: http://arxiv.org/abs/2206.09527v2
Date: Fri, 2 Dec 2022 10:01:35 GMT
ステータス: 処理完了
システム内更新日: 2023-02-08 19:01:38.452746
Title: Simultaneous approximation of a smooth function and its derivatives by deep neural networks with piecewise-polynomial activations
Title（参考訳）: 部分的多項活性化を持つディープニューラルネットワークによる滑らかな関数とその導関数の同時近似
Authors: Denis Belomestny, Alexey Naumov, Nikita Puchkin, Sergey Samsonov
Abstract要約: 我々は、H'olderノルムの所定の近似誤差まで、任意のH'older滑らかな関数を近似するために、ディープニューラルネットワークに必要な深さ、幅、間隔を導出する。後者の機能は、多くの統計および機械学習アプリケーションにおける一般化エラーを制御するために不可欠である。
参考スコア（独自算出の注目度）: 2.15145758970292
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper investigates the approximation properties of deep neural networks with piecewise-polynomial activation functions. We derive the required depth, width, and sparsity of a deep neural network to approximate any H\"{o}lder smooth function up to a given approximation error in H\"{o}lder norms in such a way that all weights of this neural network are bounded by $1$. The latter feature is essential to control generalization errors in many statistical and machine learning applications.
Abstract（参考訳）: 本稿では,分割多項活性化関数を持つディープニューラルネットワークの近似特性について検討する。我々は、H\"{o}lderスムーズな関数を任意のH\"{o}lderノルムの近似誤差まで近似するために、ディープニューラルネットワークの必要深さ、幅、空間性を導出する。後者の機能は、多くの統計および機械学習アプリケーションで一般化エラーを制御するのに不可欠である。

関連論文リスト

Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文参考訳（メタデータ） (2023-07-20T13:34:11Z)
When Deep Learning Meets Polyhedral Theory: A Survey [6.899761345257773]
過去10年間で、ディープ・ニューラル・ラーニングの顕著な精度のおかげで、ディープは予測モデリングの一般的な方法論となった。一方、ニューラルネットワークの構造はより単純で線形な関数に収束した。
論文参考訳（メタデータ） (2023-04-29T11:46:53Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Exploring the Approximation Capabilities of Multiplicative Neural Networks for Smooth Functions [9.936974568429173]
対象関数のクラスは、一般化帯域制限関数とソボレフ型球である。以上の結果から、乗法ニューラルネットワークは、これらの関数をはるかに少ない層とニューロンで近似できることを示した。これらの結果は、乗法ゲートが標準フィードフォワード層より優れ、ニューラルネットワーク設計を改善する可能性があることを示唆している。
論文参考訳（メタデータ） (2023-01-11T17:57:33Z)
A Local Geometric Interpretation of Feature Extraction in Deep Feedforward Neural Networks [13.159994710917022]
本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
論文参考訳（メタデータ） (2022-02-09T18:50:00Z)
Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
2層ニューラルネットワークによる関数近似について検討する。この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
論文参考訳（メタデータ） (2021-07-14T03:03:56Z)
On the approximation of functions by tanh neural networks [0.0]
我々は、ソボレフ規則の近似で生じる高階ソボレフノルムにおける誤差の境界を導出する。 2つの隠れ層しか持たないtanhニューラルネットワークは、より深いreluニューラルネットワークよりも、同等あるいはそれ以上の速度で近似関数に十分であることを示す。
論文参考訳（メタデータ） (2021-04-18T19:30:45Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文参考訳（メタデータ） (2020-12-31T18:53:25Z)
The Representation Power of Neural Networks: Breaking the Curse of Dimensionality [0.0]
浅層および深層ニューラルネットワークの量に対する上限を証明します。我々はさらに、これらの境界がコロボフ函数を近似するために必要となる連続関数近似器の最小パラメータ数にほぼ一致することを証明した。
論文参考訳（メタデータ） (2020-12-10T04:44:07Z)
Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
本稿では,線形近似ニューラルネットワーク(LANN)を提案する。ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
論文参考訳（メタデータ） (2020-06-16T07:38:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。