Fugu-MT 論文翻訳(概要): Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks

論文の概要: Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks

arxiv url: http://arxiv.org/abs/2301.13091v1
Date: Mon, 30 Jan 2023 17:29:19 GMT
ステータス: 処理完了
システム内更新日: 2023-01-31 13:36:44.955971
Title: Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks
Title（参考訳）: ニューラルネットワークを用いた高次元関数の最適近似複雑性
Authors: Vincent P.H. Goverse, Jad Hamdan, Jared Tanner
Abstract要約: 本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
参考スコア（独自算出の注目度）: 3.222802562733787
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We investigate properties of neural networks that use both ReLU and $x^2$ as activation functions and build upon previous results to show that both analytic functions and functions in Sobolev spaces can be approximated by such networks of constant depth to arbitrary accuracy, demonstrating optimal order approximation rates across all nonlinear approximators, including standard ReLU networks. We then show how to leverage low local dimensionality in some contexts to overcome the curse of dimensionality, obtaining approximation rates that are optimal for unknown lower-dimensional subspaces.
Abstract（参考訳）: reluと$x^2$の両方をアクティベーション関数として使用するニューラルネットワークの特性を調査し、ソボレフ空間における解析関数と関数の両方を任意の精度で一定の深さのネットワークで近似できることを示し、標準reluネットワークを含むすべての非線形近似器で最適な次数近似率を示す。次に、ある文脈における局所次元の低さを利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似率を得る方法を示す。

関連論文リスト

Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
論文参考訳（メタデータ） (2024-05-10T14:31:58Z)
A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Optimal Deep Neural Network Approximation for Korobov Functions with respect to Sobolev Norms [8.249180979158819]
本稿では,コロボフ関数に適用した場合のディープニューラルネットワーク(DNN)の近似のほぼ最適値を確立する。我々の達成した近似速度は、従来の手法と連続関数近似器よりも優れた「超収束」率を示す。
論文参考訳（メタデータ） (2023-11-08T15:59:10Z)
Optimal Sets and Solution Paths of ReLU Networks [56.40911684005949]
最適なReLUネットワークの集合を特徴付ける分析フレームワークを開発した。我々は、ReLUネットワークのニューラル化を継続する条件を確立し、ReLUネットワークに対する感度結果を開発する。
論文参考訳（メタデータ） (2023-05-31T18:48:16Z)
Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文参考訳（メタデータ） (2023-04-10T08:10:11Z)
Sobolev-type embeddings for neural network approximation spaces [5.863264019032882]
近似可能な速度に応じて関数を分類するニューラルネットワーク近似空間を考察する。 p$の異なる値に対して、これらの空間間の埋め込み定理を証明する。古典函数空間の場合と同様、可積分性を高めるために「滑らかさ」(すなわち近似率)を交換できる。
論文参考訳（メタデータ） (2021-10-28T17:11:38Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文参考訳（メタデータ） (2020-09-08T06:54:11Z)
The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文参考訳（メタデータ） (2020-06-10T15:38:30Z)
Approximation in shift-invariant spaces with deep ReLU neural networks [7.7084107194202875]
拡張シフト不変空間における近似関数に対する深部ReLUニューラルネットワークの表現力について検討する。近似誤差境界は、ニューラルネットワークの幅と深さに対して推定される。
論文参考訳（メタデータ） (2020-05-25T07:23:47Z)
Convex Geometry and Duality of Over-parameterized Neural Networks [70.15611146583068]
有限幅2層ReLUネットワークの解析のための凸解析手法を開発した。正規化学習問題に対する最適解が凸集合の極点として特徴づけられることを示す。高次元では、トレーニング問題は無限に多くの制約を持つ有限次元凸問題としてキャストできることが示される。
論文参考訳（メタデータ） (2020-02-25T23:05:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。