論文の概要: Approximation properties of neural ODEs

• arxiv url: http://arxiv.org/abs/2503.15696v2
• Date: Tue, 30 Sep 2025 15:03:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:03.951469
• Title: Approximation properties of neural ODEs
• Title（参考訳）: ニューラルオードの近似特性
• Authors: Arturo De Marinis, Davide Murari, Elena Celledoni, Nicola Guglielmi, Brynjulf Owren, Francesco Tudisco,
• Abstract要約: 連続関数空間における浅部ニューラルネットワークの普遍近似特性(UAP)を証明した。 特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。
• 参考スコア（独自算出の注目度）: 5.828989070109041
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the approximation properties of shallow neural networks whose activation function is defined as the flow map of a neural ordinary differential equation (neural ODE) at the final time of the integration interval. We prove the universal approximation property (UAP) of such shallow neural networks in the space of continuous functions. Furthermore, we investigate the approximation properties of shallow neural networks whose parameters satisfy specific constraints. In particular, we constrain the Lipschitz constant of the neural ODE's flow map and the norms of the weights to increase the network's stability. We prove that the UAP holds if we consider either constraint independently. When both are enforced, there is a loss of expressiveness, and we derive approximation bounds that quantify how accurately such a constrained network can approximate a continuous function.
• Abstract（参考訳）: 本研究では, 活性化関数が積分区間の最終時刻におけるニューラル常微分方程式(ニューラルODE)のフローマップとして定義される浅部ニューラルネットワークの近似特性について検討する。 連続関数空間におけるそのような浅層ニューラルネットワークの普遍近似特性(UAP)を証明した。 さらに,パラメータが特定の制約を満たす浅層ニューラルネットワークの近似特性について検討した。 特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。 いずれの制約も独立して考えると、UAPが成り立つことを証明します。 両方を強制すると表現性が失われ、そのような制約付きネットワークが連続関数をどれだけ正確に近似できるかを定量化する近似境界を導出する。

関連論文リスト

• Quantitative Flow Approximation Properties of Narrow Neural ODEs [0.5439020425819]
  ニューラル常微分方程式(NODE)のフロー近似問題を再考する。 浅いが広いNODEの近似流における狭いNODEの関係を導出する。 本研究では,狭いNODEの時間依存重み付けに必要なスイッチ数を推定し,単一層ニューラルネットワークを速度場とするNODEの挙動を模倣する。
  論文  参考訳（メタデータ） (2025-03-06T03:54:42Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Lipschitz constant estimation for 1D convolutional neural networks [0.0]
  本稿では,1次元畳み込みニューラルネットワーク(CNN)のリプシッツ定数推定法を提案する。 特に, 畳み込み層, プール層および完全連結層の分散特性を解析した。
  論文  参考訳（メタデータ） (2022-11-28T12:09:06Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• Linear approximability of two-layer neural networks: A comprehensive analysis based on spectral decay [4.042159113348107]
  まず、単一ニューロンの場合について考察し、コルモゴロフ幅で定量化される線形近似性は、共役核の固有値崩壊によって制御されることを示す。 また,2層ニューラルネットワークについても同様の結果が得られた。
  論文  参考訳（メタデータ） (2021-08-10T23:30:29Z)
• Sharp Lower Bounds on the Approximation Rate of Shallow Neural Networks [0.0]
  浅部ニューラルネットワークの近似速度に対して, 急激な下界を証明した。 これらの下界は、有界変動を持つシグモノイド活性化関数と、ReLUのパワーである活性化関数の両方に適用できる。
  論文  参考訳（メタデータ） (2021-06-28T22:01:42Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Deep Neural Networks with Trainable Activations and Controlled Lipschitz Constant [26.22495169129119]
  本稿では,深層ニューラルネットワークの活性化関数を学習するための変分フレームワークを提案する。 我々の目的は、リプシッツ定数の上界を制御しながら、ネットワークの容量を増加させることである。 提案手法を標準ReLUネットワークとその変種であるPRELUとLeakyReLUと比較する。
  論文  参考訳（メタデータ） (2020-01-17T12:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。