Fugu-MT 論文翻訳(概要): Approximation and interpolation of deep neural networks

論文の概要: Approximation and interpolation of deep neural networks

arxiv url: http://arxiv.org/abs/2304.10552v2
Date: Thu, 25 Apr 2024 07:37:48 GMT
ステータス: 処理完了
システム内更新日: 2024-04-27 00:17:35.099483
Title: Approximation and interpolation of deep neural networks
Title（参考訳）: ディープニューラルネットワークの近似と補間
Authors: Vlad-Raul Constantinescu, Ionel Popescu,
Abstract要約: 過度にパラメータ化された状態において、ディープニューラルネットワークは普遍的な近似を提供し、任意のデータセットを補間することができる。最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper, we prove that in the overparametrized regime, deep neural network provide universal approximations and can interpolate any data set, as long as the activation function is locally in $L^1(\RR)$ and not an affine function. Additionally, if the activation function is smooth and such an interpolation networks exists, then the set of parameters which interpolate forms a manifold. Furthermore, we give a characterization of the Hessian of the loss function evaluated at the interpolation points. In the last section, we provide a practical probabilistic method of finding such a point under general conditions on the activation function.
Abstract（参考訳）: 本稿では、過度にパラメータ化された状態において、ディープニューラルネットワークが普遍近似を提供し、アクティベーション関数が局所的に$L^1(\RR)$でありアフィン関数ではない限り、任意のデータセットを補間できることを示す。さらに、活性化関数が滑らかでそのような補間ネットワークが存在するなら、補間するパラメータの集合は多様体を形成する。さらに,補間点において評価された損失関数のヘシアン特性について述べる。最後の節では、活性化関数の一般的な条件下でそのような点を見つけるための実用的な確率的方法を提案する。

関連論文リスト

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文参考訳（メタデータ） (2024-04-18T16:46:08Z)
Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文参考訳（メタデータ） (2023-04-17T14:23:43Z)
Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
論文参考訳（メタデータ） (2023-04-10T08:10:11Z)
On the universal approximation property of radial basis function neural networks [0.0]
RBF(Radial Basis Function)ニューラルネットワークの新しいクラスについて検討し、スムーズな要因をシフトに置き換える。我々は、これらのネットワークが$d$次元ユークリッド空間の任意のコンパクト部分集合上で連続多変量関数を近似できるという条件下で証明する。有限個の固定セントロイドを持つRBFネットワークに対して、任意の精度で近似を保証する条件を記述する。
論文参考訳（メタデータ） (2023-04-05T04:20:58Z)
Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文参考訳（メタデータ） (2023-03-09T10:08:34Z)
Optimal Approximation Complexity of High-Dimensional Functions with Neural Networks [3.222802562733787]
本稿では、ReLUと$x2$の両方を活性化関数として使用するニューラルネットワークの特性について検討する。いくつかの文脈において、低局所次元を利用して次元の呪いを克服し、未知の低次元部分空間に最適な近似値を得る方法を示す。
論文参考訳（メタデータ） (2023-01-30T17:29:19Z)
Uniform Approximation with Quadratic Neural Networks [0.0]
ReQUを活性化したディープニューラルネットワークは、(R)-H'older-regular関数内の任意の関数を近似することができることを示す。結果は (pgeq 2) の形式 (max(0,x)p) の任意の Rectified Power Unit (RePU) 活性化関数に簡単に一般化できる。
論文参考訳（メタデータ） (2022-01-11T02:26:55Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
論文参考訳（メタデータ） (2020-07-28T09:31:56Z)
Interval Universal Approximation for Neural Networks [47.767793120249095]
区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
論文参考訳（メタデータ） (2020-07-12T20:43:56Z)
Approximation with Neural Networks in Variable Lebesgue Spaces [1.0152838128195465]
本稿では、可変ルベーグ空間におけるニューラルネットワークによる普遍近似特性について述べる。空間の指数関数が有界となると、任意の所望の精度で全ての関数を浅いニューラルネットワークで近似できることを示す。
論文参考訳（メタデータ） (2020-07-08T14:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。