論文の概要: Minimum Width for Deep, Narrow MLP: A Diffeomorphism and the Whitney Embedding Theorem Approach

• arxiv url: http://arxiv.org/abs/2308.15873v1
• Date: Wed, 30 Aug 2023 08:58:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 14:14:15.567663
• Title: Minimum Width for Deep, Narrow MLP: A Diffeomorphism and the Whitney Embedding Theorem Approach
• Title（参考訳）: 深部・狭部MLPの最小幅:微分同相写像とホイットニー埋め込み理論アプローチ
• Authors: Geonho Hwang
• Abstract要約: そこで我々は,最小幅に対する新しい上限を$namemax(2d_xoperator, d_y) + alpha(sigma)$で指定し,一様近似を実現する。 まず、追加の幅をほとんど持たない深い狭さが微分同相を近似できることを示す。 次に、ウィットニー埋め込み定理を用いて、任意の連続函数が埋め込みによって近似できることを示す。
• 参考スコア（独自算出の注目度）: 3.218087085276242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, there has been significant attention on determining the minimum width for the universal approximation property of deep, narrow MLPs. Among these challenges, approximating a continuous function under the uniform norm is important and challenging, with the gap between its lower and upper bound being hard to narrow. In this regard, we propose a novel upper bound for the minimum width, given by $\operatorname{max}(2d_x+1, d_y) + \alpha(\sigma)$, to achieve uniform approximation in deep narrow MLPs, where $0\leq \alpha(\sigma)\leq 2$ represents the constant depending on the activation function. We demonstrate this bound through two key proofs. First, we establish that deep, narrow MLPs with little additional width can approximate diffeomorphisms. Secondly, we utilize the Whitney embedding theorem to show that any continuous function can be approximated by embeddings, further decomposed into linear transformations and diffeomorphisms.
• Abstract（参考訳）: 近年,深部・狭部MLPの普遍近似特性の最小幅の決定に注目が集まっている。 これらの課題のうち、一様ノルムの下で連続函数を近似することは重要かつ困難であり、その下界と上界の間の隙間は狭くなりにくい。 この点に関して、最小幅に対する新しい上限として$\operatorname{max}(2d_x+1, d_y) + \alpha(\sigma)$が与えられ、ここで$0\leq \alpha(\sigma)\leq 2$ は活性化関数に依存する定数を表す。 これを2つの重要な証明を通して証明する。 まず、追加の幅がほとんどない深い狭い MLP が微分同相を近似できることを示す。 第二に、ウィットニー埋め込み定理を用いて、任意の連続函数が埋め込みによって近似できることを示し、さらに線型変換と微分同相に分解される。

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Fourier Sliced-Wasserstein Embedding for Multisets and Measures [3.396731589928944]
  ユークリッド空間に$mathbbRd$を超える多重集合と測度を埋め込む新しい方法を提案する。 提案手法は,入力マルチセットの優れた表現を出力し,マルチセットデータの学習に実用的な利点をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-05-26T11:04:41Z)
• Minimum width for universal approximation using ReLU networks on compact domain [8.839687029212673]
  活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。 ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
  論文  参考訳（メタデータ） (2023-09-19T08:04:48Z)
• Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal Approximation [10.249623880822055]
  本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。 リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
  論文  参考訳（メタデータ） (2023-05-29T06:51:16Z)
• Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
  我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。 我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
  論文  参考訳（メタデータ） (2023-02-03T03:19:14Z)
• Estimating the minimizer and the minimum value of a regression function under passive design [72.85024381807466]
  最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。 2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
  論文  参考訳（メタデータ） (2022-11-29T18:38:40Z)
• Best Policy Identification in Linear MDPs [70.57916977441262]
  縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。 複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
  論文  参考訳（メタデータ） (2022-08-11T04:12:50Z)
• Approximation Algorithms for ROUND-UFP and ROUND-SAP [0.06875312133832077]
  古典的パッキング問題の2つの一般化であるROUND-UFPとROUND-SAPについて検討する。 ROUND-UFPでは、すべての矩形を与えられた経路の最小のコピー(ラウンド)にまとめることが目的である。 ROUND-SAP では、これらのタスクは長方形と見なされ、その目標はこれらの長方形を最小数のラウンドに重ね合わせることにある。
  論文  参考訳（メタデータ） (2022-02-07T20:15:15Z)
• Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov Decision Processes [91.38793800392108]
  本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。 上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。 我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
  論文  参考訳（メタデータ） (2020-12-15T18:56:46Z)
• Minimum Width for Universal Approximation [91.02689252671291]
  我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。 また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
  論文  参考訳（メタデータ） (2020-06-16T01:24:21Z)
• On Suboptimality of Least Squares with Application to Estimation of Convex Bodies [74.39616164169131]
  雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。 Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
  論文  参考訳（メタデータ） (2020-06-07T05:19:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。