論文の概要: Universal Approximation Property of Neural Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2012.02414v1
• Date: Fri, 4 Dec 2020 05:53:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 20:45:56.782826
• Title: Universal Approximation Property of Neural Ordinary Differential Equations
• Title（参考訳）: 神経常微分方程式の普遍近似特性
• Authors: Takeshi Teshima, Koichi Tojo, Masahiro Ikeda, Isao Ishikawa, Kenta Oono
• Abstract要約: 我々は NODE が一定の条件下で連続写像に対して$Lp$-universal approximator を形成することを示す。 また、それらのより強い近似特性、すなわち、大きな微分同相類を近似する$sup$-ユニバーサリティを示す。
• 参考スコア（独自算出の注目度）: 19.861764482790544
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural ordinary differential equations (NODEs) is an invertible neural network architecture promising for its free-form Jacobian and the availability of a tractable Jacobian determinant estimator. Recently, the representation power of NODEs has been partly uncovered: they form an $L^p$-universal approximator for continuous maps under certain conditions. However, the $L^p$-universality may fail to guarantee an approximation for the entire input domain as it may still hold even if the approximator largely differs from the target function on a small region of the input space. To further uncover the potential of NODEs, we show their stronger approximation property, namely the $\sup$-universality for approximating a large class of diffeomorphisms. It is shown by leveraging a structure theorem of the diffeomorphism group, and the result complements the existing literature by establishing a fairly large set of mappings that NODEs can approximate with a stronger guarantee.
• Abstract（参考訳）: ニューラル常微分方程式 (neural ordinary differential equation, nodes) は、その自由形式ヤコビアンと扱いやすいヤコビ行列式推定器が利用可能であることを保証する可逆ニューラルネットワークアーキテクチャである。 最近、NODEの表現力は、ある条件下で連続写像に対する$L^p$-universal approximatorを形成することで部分的に明らかになった。 しかし、l^p$-universalityは、近似器が入力空間の小さな領域の目標関数と大きく異なる場合でも、入力領域全体の近似を保証できない可能性がある。 さらにノードのポテンシャルを明らかにするために、そのより強い近似特性、すなわち大きな微分同相写像のクラスを近似するための$\sup$-universality を示す。 これは微分同相群の構造定理を利用して示され、その結果、ノードがより強い保証で近似できるかなり大きな写像集合を確立することによって、既存の文献を補完する。

関連論文リスト

• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Equivariant Manifold Neural ODEs and Differential Invariants [1.6073704837297416]
  我々は同変多様体ニューラル常微分方程式(NODE)の明らかな幾何学的枠組みを開発する。 私たちは、対称データに対するモデリング能力を解析するためにそれを使用します。
  論文  参考訳（メタデータ） (2024-01-25T12:23:22Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Generalization Bounds for Stochastic Gradient Descent via Localized $\varepsilon$-Covers [16.618918548497223]
  本稿では,SGDの軌道に局在する新しい被覆手法を提案する。 このローカライゼーションは、境界数によって測定されるアルゴリズム固有のクラスタリングを提供する。 これらの結果は様々な文脈で導き出され、既知の最先端のラベルレートが向上する。
  論文  参考訳（メタデータ） (2022-09-19T12:11:07Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
  DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。 我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
  論文  参考訳（メタデータ） (2022-02-11T13:51:30Z)
• Quantitative Rates and Fundamental Obstructions to Non-Euclidean Universal Approximation with Deep Narrow Feed-Forward Networks [3.8073142980733]
  我々は,「深い幾何学的フィードフォワードニューラルネットワーク」に必要な狭い層数を定量化する。 グローバルとローカルの両方のユニバーサル近似保証は、null-homotopic関数を近似する場合にのみ一致することが分かりました。
  論文  参考訳（メタデータ） (2021-01-13T23:29:40Z)
• Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators [72.62940905965267]
  結合フロー(CF-INN)に基づく可逆ニューラルネットワークは、画像合成や表現学習など、さまざまな機械学習応用を有する。 CF-INNは可逆関数に対する普遍近似器か? 我々は、ある微分同相類に対する普遍性の同値性を示す一般的な定理を証明する。
  論文  参考訳（メタデータ） (2020-06-20T02:07:37Z)
• Optimal Bounds between $f$-Divergences and Integral Probability Metrics [8.401473551081748]
  確率分布の類似性を定量化するために、$f$-divergencesとIntegral Probability Metricsが広く使われている。 両家系の関係を凸双対性の観点から体系的に研究する。 我々は、Hoeffdingの補題のような統一的な方法でよく知られた結果を回復しながら、新しい境界を得る。
  論文  参考訳（メタデータ） (2020-06-10T17:39:11Z)
• Non-Euclidean Universal Approximation [4.18804572788063]
  ニューラルネットワークの入力層と出力層の修正は、多くの場合、最も実践的な学習タスクの特異性を満たすために必要である。 アーキテクチャの連続関数をコンパクトな上で一様に近似する能力を保った特徴写像と読み出し写像を記述した一般的な条件を示す。
  論文  参考訳（メタデータ） (2020-06-03T15:38:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。