論文の概要: A Minimal Control Family of Dynamical Systems for Universal Approximation

• arxiv url: http://arxiv.org/abs/2312.12903v2
• Date: Mon, 31 Mar 2025 01:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:56.49394
• Title: A Minimal Control Family of Dynamical Systems for Universal Approximation
• Title（参考訳）: ユニバーサル近似のための力学系の最小制御系
• Authors: Yifei Duan, Yongqiang Cai,
• Abstract要約: 普遍近似特性(UAP)は、ディープラーニングにおいて基本的な位置を占める。 コンパクト領域上の連続函数を近似できることを示す。 この結果から,ニューラルネットワークと制御系との近似力の相関関係が明らかとなった。
• 参考スコア（独自算出の注目度）: 5.217870815854702
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The universal approximation property (UAP) holds a fundamental position in deep learning, as it provides a theoretical foundation for the expressive power of neural networks. It is widely recognized that a composition of linear and nonlinear functions, such as the rectified linear unit (ReLU) activation function, can approximate continuous functions on compact domains. In this paper, we extend this efficacy to a scenario containing dynamical systems with controls. We prove that the control family $\mathcal{F}_1$ containing all affine maps and the nonlinear ReLU map is sufficient for generating flow maps that can approximate orientation-preserving (OP) diffeomorphisms on any compact domain. Since $\mathcal{F}_1$ contains only one nonlinear function and the UAP does not hold if we remove the nonlinear function, we call $\mathcal{F}_1$ a minimal control family for the UAP. On this basis, several mild sufficient conditions, such as affine invariance, are established for the control family and discussed. Our results reveal an underlying connection between the approximation power of neural networks and control systems and could provide theoretical guidance for examining the approximation power of flow-based models.
• Abstract（参考訳）: UAP(Universal Approximation Properties)は、ニューラルネットワークの表現力の理論的基盤を提供するため、ディープラーニングにおいて基本的な位置を占める。 線形および非線形関数の合成、例えば正則線形単位(ReLU)アクティベーション関数はコンパクト領域上の連続関数を近似することができることが広く認識されている。 本稿では,この効果を制御を伴う動的システムを含むシナリオに拡張する。 制御族 $\mathcal{F}_1$ がすべてのアフィン写像を含み、非線形ReLU写像は任意のコンパクト領域上の向き保存(OP)微分同相を近似できるフロー写像を生成するのに十分であることを示す。 $\mathcal{F}_1$ は1つの非線形関数のみを含み、非線型関数を除去しても UAP は保たないので、UAP の最小制御ファミリを $\mathcal{F}_1$ と呼ぶ。 この条件に基づいて、アフィン不変性のようないくつかの穏やかな条件が制御族に対して確立され、議論される。 この結果から,ニューラルネットワークと制御系の近似パワーの相互関係が明らかとなり,フローベースモデルの近似パワーを調べるための理論的ガイダンスが得られた。

関連論文リスト

• Random Features Approximation for Control-Affine Systems [6.067043299145924]
  制御アフィン構造をキャプチャする非線形特徴表現の2つの新しいクラスを提案する。 提案手法はランダムな特徴(RF)近似を用いて,より少ない計算コストでカーネル手法の表現性を継承する。
  論文  参考訳（メタデータ） (2024-06-10T17:54:57Z)
• Representing Piecewise-Linear Functions by Functions with Minimal Arity [0.5266869303483376]
  入力空間 $mathbbRn$ の関数 $F$ によるテッセルレーションは、$max$ 関数の引数の数に直結することを示す。
  論文  参考訳（メタデータ） (2024-06-04T15:39:08Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Tractability of approximation by general shallow networks [0.0]
  xmapsto sum_k=1n a_kG(x, y_k)$, $ xinmathbbX$, by $G$-networks of the form $ xmapsto sum_k=1n a_kG(x, y_k)$。 独立次元境界を$n$で近似の度合いで取得し、関連する定数もすべて次元に依存する。
  論文  参考訳（メタデータ） (2023-08-07T00:14:46Z)
• Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal Approximation [10.249623880822055]
  本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。 リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
  論文  参考訳（メタデータ） (2023-05-29T06:51:16Z)
• Approximation of Nonlinear Functionals Using Deep ReLU Networks [7.876115370275732]
  本稿では,ReLU(rerectified linear unit)アクティベーション関数に関連する機能深部ニューラルネットワークの近似能力について検討する。 さらに,弱規則性条件下での関数型深部ReLUネットワークの近似率を確立する。
  論文  参考訳（メタデータ） (2023-04-10T08:10:11Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• The merged-staircase property: a necessary and nearly sufficient condition for SGD learning of sparse functions on two-layer neural networks [19.899987851661354]
  我々は,SGD-Lrnability with $O(d)$ sample complexity in a large ambient dimension。 本研究の主な成果は, 階層的特性である「マージ階段特性」を特徴付けるものである。 鍵となるツールは、潜在低次元部分空間上で定義される函数に適用される新しい「次元自由」力学近似である。
  論文  参考訳（メタデータ） (2022-02-17T13:43:06Z)
• Local approximation of operators [0.0]
  距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。 例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
  論文  参考訳（メタデータ） (2022-02-13T19:28:34Z)
• Deep Learning Approximation of Diffeomorphisms via Linear-Control Systems [91.3755431537592]
  我々は、制御に線形に依存する$dot x = sum_i=1lF_i(x)u_i$という形の制御系を考える。 対応するフローを用いて、コンパクトな点のアンサンブル上の微分同相写像の作用を近似する。
  論文  参考訳（メタデータ） (2021-10-24T08:57:46Z)
• On minimal representations of shallow ReLU networks [0.0]
  f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。 特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
  論文  参考訳（メタデータ） (2021-08-12T10:22:24Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory [9.210074587720172]
  我々は、幾何学的非線形制御により、ディープ残差ニューラルネットワークの普遍近似能力を説明する。 残余ネットワークと制御システムとのリンクを確立する最近の研究に触発されて、残余ネットワークが普遍近似の力を持つための一般的な条件を提供する。
  論文  参考訳（メタデータ） (2020-07-12T14:53:30Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。