論文の概要: Quantitative Flow Approximation Properties of Narrow Neural ODEs

• arxiv url: http://arxiv.org/abs/2503.04068v1
• Date: Thu, 06 Mar 2025 03:54:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-07 15:57:19.266893
• Title: Quantitative Flow Approximation Properties of Narrow Neural ODEs
• Title（参考訳）: 狭いニューラルネットワークの定量的流れ近似特性
• Authors: Karthik Elamvazhuthi,
• Abstract要約: ニューラル常微分方程式(NODE)のフロー近似問題を再考する。 浅いが広いNODEの近似流における狭いNODEの関係を導出する。 本研究では,狭いNODEの時間依存重み付けに必要なスイッチ数を推定し,単一層ニューラルネットワークを速度場とするNODEの挙動を模倣する。
• 参考スコア（独自算出の注目度）: 0.5439020425819
• License:
• Abstract: In this note, we revisit the problem of flow approximation properties of neural ordinary differential equations (NODEs). The approximation properties have been considered as a flow controllability problem in recent literature. The neural ODE is considered {\it narrow} when the parameters have dimension equal to the input of the neural network, and hence have limited width. We derive the relation of narrow NODEs in approximating flows of shallow but wide NODEs. Due to existing results on approximation properties of shallow neural networks, this facilitates understanding which kind of flows of dynamical systems can be approximated using narrow neural ODEs. While approximation properties of narrow NODEs have been established in literature, the proofs often involve extensive constructions or require invoking deep controllability theorems from control theory. In this paper, we provide a simpler proof technique that involves only ideas from ODEs and Gr{\"o}nwall's lemma. Moreover, we provide an estimate on the number of switches needed for the time dependent weights of the narrow NODE to mimic the behavior of a NODE with a single layer wide neural network as the velocity field.
• Abstract（参考訳）: 本稿では,ニューラル常微分方程式(NODE)のフロー近似特性の問題を再考する。 近似特性は近年,フロー制御可能性問題として検討されている。 ニューラルODEは、パラメータがニューラルネットワークの入力と等しい次元を持ち、従って幅が限られている場合、 {\displaystyle {\it narrow} と見なされる。 浅いが広いNODEの近似流における狭いNODEの関係を導出する。 浅部ニューラルネットワークの近似特性に関する既存の結果により、狭いニューラルネットワークを用いて、どの力学系の流れを近似できるかを理解するのが容易になる。 狭いNODEの近似特性は文献で確立されているが、証明はしばしば広範な構成を含むか、制御理論から深い可制御性定理を導出する必要がある。 本稿では,ODE と Gr{\"o}nwall's lemma のアイデアのみを含む,より単純な証明手法を提案する。 さらに,狭いNODEの時間依存重み付けに必要なスイッチ数を推定し,単一層ワイドニューラルネットワークを速度場とするNODEの挙動を模倣する。

関連論文リスト

• Numerical Approximation Capacity of Neural Networks with Bounded Parameters: Do Limits Exist, and How Can They Be Measured? [4.878983382452911]
  普遍近似は理論的には実現可能であるが,現実的な数値シナリオでは,Deep Neural Networks (DNN) は有限次元ベクトル空間でしか近似できない。 ネットワークの系列の近似能力限界を定量化するために、textit$epsilon$ outer measure と textitNumerical Span Dimension (NSdim) の概念を導入する。
  論文  参考訳（メタデータ） (2024-09-25T07:43:48Z)
• From NeurODEs to AutoencODEs: a mean-field control framework for width-varying Neural Networks [68.8204255655161]
  本稿では,動的に駆動する制御フィールドをベースとした,AutoencODEと呼ばれる新しいタイプの連続時間制御システムを提案する。 損失関数が局所凸な領域では,多くのアーキテクチャが復元可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-05T13:26:17Z)
• Variational formulations of ODE-Net as a mean-field optimal control problem and existence results [0.0]
  本稿では,ディープニューラルネットワーク(DNN)の連続体モデルであるODE-Netの数学的解析について述べる。 近年、機械学習の研究者たちは、DNNの深い構造をODEに置き換えるアイデアを連続的な制限として導入している。
  論文  参考訳（メタデータ） (2023-03-09T00:47:30Z)
• Constrained Empirical Risk Minimization: Theory and Practice [2.4934936799100034]
  本稿では,Deep Neural Networks (DNN) などのパラメータ化された関数集合に対する制約の厳格化を可能にするフレームワークを提案する。 我々は、幾何学的深層学習で使用される同変ネットワークの範囲外にある制約に焦点を当てる。 このフレームワークの主な例として、畳み込みニューラルネットワーク(CNN)のフィルタをウェーブレットに制限し、これらのウェーブレットネットワークを医療領域における輪郭予測のタスクに適用する。
  論文  参考訳（メタデータ） (2023-02-09T16:11:58Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds [0.0]
  本稿では,Deep Neural Networks (DNN) において,どの層を考慮すべきかという質問に対する定量的回答を試みる。 基礎となる仮定は、層ごとのニューロンの数、すなわちDNNの幅が一定であることである。 我々は、仮定の到達可能性と訓練問題における正規化項の散逸誘導選択に基づいて、DNNの必要な深さの明示的な境界を証明する。
  論文  参考訳（メタデータ） (2021-01-08T13:23:37Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Go with the Flow: Adaptive Control for Neural ODEs [10.265713480189484]
  ニューラル制御ODE(N-CODE)と呼ばれる新しいモジュールについて述べる。 N-CODEモジュールは、初期または現在のアクティベーション状態からトレーニング可能なマップによって制御される動的変数である。 単一モジュールは、適応的に神経表現を駆動する非自律フロー上の分布を学ぶのに十分である。
  論文  参考訳（メタデータ） (2020-06-16T22:21:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。