論文の概要: A Minimal Control Family of Dynamical Systems for Universal Approximation

• arxiv url: http://arxiv.org/abs/2312.12903v2
• Date: Mon, 31 Mar 2025 01:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:27:51.343901
• Title: A Minimal Control Family of Dynamical Systems for Universal Approximation
• Title（参考訳）: ユニバーサル近似のための力学系の最小制御系
• Authors: Yifei Duan, Yongqiang Cai,
• Abstract要約: 普遍近似特性(UAP)は、ディープラーニングにおいて基本的な位置を占める。 コンパクト領域上の連続函数を近似できることを示す。 この結果から,ニューラルネットワークと制御系との近似力の相関関係が明らかとなった。
• 参考スコア（独自算出の注目度）: 5.217870815854702
• License:
• Abstract: The universal approximation property (UAP) holds a fundamental position in deep learning, as it provides a theoretical foundation for the expressive power of neural networks. It is widely recognized that a composition of linear and nonlinear functions, such as the rectified linear unit (ReLU) activation function, can approximate continuous functions on compact domains. In this paper, we extend this efficacy to a scenario containing dynamical systems with controls. We prove that the control family $\mathcal{F}_1$ containing all affine maps and the nonlinear ReLU map is sufficient for generating flow maps that can approximate orientation-preserving (OP) diffeomorphisms on any compact domain. Since $\mathcal{F}_1$ contains only one nonlinear function and the UAP does not hold if we remove the nonlinear function, we call $\mathcal{F}_1$ a minimal control family for the UAP. On this basis, several mild sufficient conditions, such as affine invariance, are established for the control family and discussed. Our results reveal an underlying connection between the approximation power of neural networks and control systems and could provide theoretical guidance for examining the approximation power of flow-based models.
• Abstract（参考訳）: UAP(Universal Approximation Properties)は、ニューラルネットワークの表現力の理論的基盤を提供するため、ディープラーニングにおいて基本的な位置を占める。 線形および非線形関数の合成、例えば正則線形単位(ReLU)アクティベーション関数はコンパクト領域上の連続関数を近似することができることが広く認識されている。 本稿では,この効果を制御を伴う動的システムを含むシナリオに拡張する。 制御族 $\mathcal{F}_1$ がすべてのアフィン写像を含み、非線形ReLU写像は任意のコンパクト領域上の向き保存(OP)微分同相を近似できるフロー写像を生成するのに十分であることを示す。 $\mathcal{F}_1$ は1つの非線形関数のみを含み、非線型関数を除去しても UAP は保たないので、UAP の最小制御ファミリを $\mathcal{F}_1$ と呼ぶ。 この条件に基づいて、アフィン不変性のようないくつかの穏やかな条件が制御族に対して確立され、議論される。 この結果から,ニューラルネットワークと制御系の近似パワーの相互関係が明らかとなり,フローベースモデルの近似パワーを調べるための理論的ガイダンスが得られた。

関連論文リスト

• Representing Piecewise-Linear Functions by Functions with Minimal Arity [0.5266869303483376]
  入力空間 $mathbbRn$ の関数 $F$ によるテッセルレーションは、$max$ 関数の引数の数に直結することを示す。
  論文  参考訳（メタデータ） (2024-06-04T15:39:08Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Tractability of approximation by general shallow networks [0.0]
  xmapsto sum_k=1n a_kG(x, y_k)$, $ xinmathbbX$, by $G$-networks of the form $ xmapsto sum_k=1n a_kG(x, y_k)$。 独立次元境界を$n$で近似の度合いで取得し、関連する定数もすべて次元に依存する。
  論文  参考訳（メタデータ） (2023-08-07T00:14:46Z)
• Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal Approximation [10.249623880822055]
  本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。 リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
  論文  参考訳（メタデータ） (2023-05-29T06:51:16Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Local approximation of operators [0.0]
  距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。 例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
  論文  参考訳（メタデータ） (2022-02-13T19:28:34Z)
• On minimal representations of shallow ReLU networks [0.0]
  f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。 特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
  論文  参考訳（メタデータ） (2021-08-12T10:22:24Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。