論文の概要: Approximation properties of neural ODEs

• arxiv url: http://arxiv.org/abs/2503.15696v1
• Date: Wed, 19 Mar 2025 21:11:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 22:26:44.660673
• Title: Approximation properties of neural ODEs
• Title（参考訳）: ニューラルオードの近似特性
• Authors: Arturo De Marinis, Davide Murari, Elena Celledoni, Nicola Guglielmi, Brynjulf Owren, Francesco Tudisco,
• Abstract要約: 活性化関数がニューラル常微分方程式(ニューラルODE)の流れとして定義される浅部ニューラルネットワークの近似特性について検討する。 連続関数空間におけるそのような浅層ニューラルネットワークの普遍近似特性(UAP)を証明した。
• 参考スコア（独自算出の注目度）: 3.6779367026247627
• License:
• Abstract: We study the approximation properties of shallow neural networks whose activation function is defined as the flow of a neural ordinary differential equation (neural ODE) at the final time of the integration interval. We prove the universal approximation property (UAP) of such shallow neural networks in the space of continuous functions. Furthermore, we investigate the approximation properties of shallow neural networks whose parameters are required to satisfy some constraints. In particular, we constrain the Lipschitz constant of the flow of the neural ODE to increase the stability of the shallow neural network, and we restrict the norm of the weight matrices of the linear layers to one to make sure that the restricted expansivity of the flow is not compensated by the increased expansivity of the linear layers. For this setting, we prove approximation bounds that tell us the accuracy to which we can approximate a continuous function with a shallow neural network with such constraints. We prove that the UAP holds if we consider only the constraint on the Lipschitz constant of the flow or the unit norm constraint on the weight matrices of the linear layers.
• Abstract（参考訳）: 本研究では, 活性化関数が積分区間の最終時刻におけるニューラル常微分方程式(ニューラルODE)の流れとして定義される浅部ニューラルネットワークの近似特性について検討する。 連続関数空間におけるそのような浅層ニューラルネットワークの普遍近似特性(UAP)を証明した。 さらに,制約を満たすためにパラメータを必要とする浅層ニューラルネットワークの近似特性について検討する。 特に、我々は、ニューラルネットワークのフローのリプシッツ定数を、浅いニューラルネットワークの安定性を高めるために制限し、線形層の重量行列のノルムを1つに制限し、線形層の膨張率の増加によって、流れの制限された拡張性が補償されないことを確かめる。 この設定のために、そのような制約で浅いニューラルネットワークで連続関数を近似できる精度を示す近似境界を証明します。 UAP はフローのリプシッツ定数上の制約や線形層の重み行列上の単位ノルム制約のみを考えると成り立つことを証明している。

関連論文リスト

• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Infinitely wide limits for deep Stable neural networks: sub-linear, linear and super-linear activation functions [5.2475574493706025]
  安定分布パラメータを持つディープスタブルNNの広帯域特性について検討する。 安定NNのスケーリングと,その無限に広い限界の安定性は,活性化関数の選択に依存する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-04-08T13:45:52Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Lipschitz constant estimation for 1D convolutional neural networks [0.0]
  本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。 特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
  論文  参考訳（メタデータ） (2022-11-28T12:09:06Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks [0.0]
  浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。 これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
  論文  参考訳（メタデータ） (2021-06-28T22:01:42Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。