論文の概要: Interpolation property of shallow neural networks
- arxiv url: http://arxiv.org/abs/2304.10552v1
- Date: Thu, 20 Apr 2023 08:45:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 17:04:35.531941
- Title: Interpolation property of shallow neural networks
- Title（参考訳）: 浅層ニューラルネットワークの補間特性
- Authors: Vlad-Raul Constantinescu and Ionel Popescu
- Abstract要約: 損失ニューラルネットワークのランドスケープ幾何学について検討する。
損失関数が0に等しい大域最小値を持つことを示す。
また,グローバルミニマで評価された損失関数のキャラクタリゼーションも提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study the geometry of global minima of the loss landscape of
overparametrized neural networks. In most optimization problems, the loss
function is convex, in which case we only have a global minima, or nonconvex,
with a discrete number of global minima. In this paper, we prove that in the
overparametrized regime, a shallow neural network can interpolate any data set,
i.e. the loss function has a global minimum value equal to zero as long as the
activation function is not a polynomial of small degree. Additionally, if such
a global minimum exists, then the locus of global minima has infinitely many
points. Furthermore, we give a characterization of the Hessian of the loss
function evaluated at the global minima, and in the last section, we provide a
practical probabilistic method of finding the interpolation point.
- Abstract（参考訳）: 過度にパラメータ化されたニューラルネットワークの損失ランドスケープのグローバルミニマの幾何学について検討する。
ほとんどの最適化問題において、損失関数は凸(convex)であり、この場合、離散的な大域小数を持つ大域小数あるいは非小数しか持たない。
本稿では、過パラメータ化状態において、浅層ニューラルネットワークが任意のデータセットを補間可能であること、すなわち、アクティベーション関数が小さい多項式でない限り、損失関数はゼロに等しい大域的最小値を持つことを証明する。
さらに、そのような大域的最小値が存在するならば、大域的ミニマの軌跡は無限に多くの点を持つ。
さらに,大域的ミニマで評価された損失関数のヘシアンを解析し,最終節では補間点を求める実用的な確率的手法を提案する。
関連論文リスト
- A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。
さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文 参考訳（メタデータ） (2023-04-10T08:10:11Z) - On the universal approximation property of radial basis function neural
networks [0.0]
RBF(Radial Basis Function)ニューラルネットワークの新しいクラスについて検討し、スムーズな要因をシフトに置き換える。
我々は、これらのネットワークが$d$次元ユークリッド空間の任意のコンパクト部分集合上で連続多変量関数を近似できるという条件下で証明する。
有限個の固定セントロイドを持つRBFネットワークに対して、任意の精度で近似を保証する条件を記述する。
論文 参考訳（メタデータ） (2023-04-05T04:20:58Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - Optimal Approximation Complexity of High-Dimensional Functions with
Neural Networks [3.222802562733787]
本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。
いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
論文 参考訳（メタデータ） (2023-01-30T17:29:19Z) - Uniform Approximation with Quadratic Neural Networks [0.0]
ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。
結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
論文 参考訳（メタデータ） (2022-01-11T02:26:55Z) - Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ
我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文 参考訳（メタデータ） (2021-04-05T18:02:04Z) - UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。
ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文 参考訳（メタデータ） (2020-07-28T09:31:56Z) - Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。
IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。
本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文 参考訳（メタデータ） (2020-07-12T20:43:56Z) - Approximation with Neural Networks in Variable Lebesgue Spaces [1.0152838128195465]
本稿では、可変ルベーグ空間におけるニューラルネットワークによる普遍近似特性について述べる。
空間の指数関数が有界となると、任意の所望の精度で全ての関数を浅いニューラルネットワークで近似できることを示す。
論文 参考訳（メタデータ） (2020-07-08T14:52:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。