論文の概要: Minimum Width for Deep, Narrow MLP: A Diffeomorphism Approach
- arxiv url: http://arxiv.org/abs/2308.15873v2
- Date: Tue, 7 Nov 2023 11:18:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 22:21:40.933718
- Title: Minimum Width for Deep, Narrow MLP: A Diffeomorphism Approach
- Title（参考訳）: 深部・狭部MLPの最小幅:微分同相法
- Authors: Geonho Hwang
- Abstract要約: 本稿では,奥行きの狭義の最小幅の探索を単純化し,$w(d_x, d_y)$と表される純粋幾何学関数を決定するフレームワークを提案する。
最小幅の上限は$namemax (2d_x+1, d_y) + alpha(sigma)$で、$0 leq alpha(sigma) leq 2$はアクティベーション関数に依存する定数を表す。
- 参考スコア（独自算出の注目度）: 3.218087085276242
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, there has been a growing focus on determining the minimum width
requirements for achieving the universal approximation property in deep, narrow
Multi-Layer Perceptrons (MLPs). Among these challenges, one particularly
challenging task is approximating a continuous function under the uniform norm,
as indicated by the significant disparity between its lower and upper bounds.
To address this problem, we propose a framework that simplifies finding the
minimum width for deep, narrow MLPs into determining a purely geometrical
function denoted as $w(d_x, d_y)$. This function relies solely on the input and
output dimensions, represented as $d_x$ and $d_y$, respectively. Two key steps
support this framework. First, we demonstrate that deep, narrow MLPs, when
provided with a small additional width, can approximate a $C^2$-diffeomorphism.
Subsequently, using this result, we prove that $w(d_x, d_y)$ equates to the
optimal minimum width required for deep, narrow MLPs to achieve universality.
By employing the aforementioned framework and the Whitney embedding theorem, we
provide an upper bound for the minimum width, given by
$\operatorname{max}(2d_x+1, d_y) + \alpha(\sigma)$, where $0 \leq
\alpha(\sigma) \leq 2$ represents a constant depending on the activation
function. Furthermore, we provide a lower bound of $4$ for the minimum width in
cases where the input and output dimensions are both equal to two.
- Abstract（参考訳）: 近年、深層・狭層パーセプトロン (mlps) における普遍近似性を達成するための最小幅要求量を決定することに焦点が当てられている。
これらの課題のうち、特に難しい課題は、一様ノルムの下で連続函数を近似することであり、その下界と上界の間の大きな差が示される。
この問題に対処するため,深い細いMLPの最小幅の探索を単純化し,$w(d_x, d_y)$と表される純粋幾何学関数を決定するフレームワークを提案する。
この関数は入力次元と出力次元のみに依存し、それぞれ$d_x$と$d_y$と表現される。
このフレームワークをサポートする2つの重要なステップ。
まず、小さな追加の幅が与えられたとき、深い狭い MLP が$C^2$-微分同相を近似できることを示す。
この結果を用いて、$w(d_x, d_y)$ が、より深く狭い MLP が普遍性を達成するために必要な最小の幅に等しいことを証明した。
上記のフレームワークとホイットニー埋め込み定理を用いることで、最小幅の上限を$\operatorname{max}(2d_x+1, d_y) + \alpha(\sigma)$ で与え、ここで$0 \leq \alpha(\sigma) \leq 2$ は活性化関数に依存する定数を表す。
さらに、入力次元と出力次元の両方が2に等しい場合、最小幅に対して4ドル以下の下限を提供する。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Fourier Sliced-Wasserstein Embedding for Multisets and Measures [3.396731589928944]
ユークリッド空間に$mathbbRd$を超える多重集合と測度を埋め込む新しい方法を提案する。
提案手法は,入力マルチセットの優れた表現を出力し,マルチセットデータの学習に実用的な利点をもたらすことを示す。
論文 参考訳（メタデータ） (2024-05-26T11:04:41Z) - Minimum width for universal approximation using ReLU networks on compact
domain [8.839687029212673]
活性化関数が ReLU-like (ReLU, GELU, Softplus) であれば、$Lp$関数の近似の最小幅は正確に$maxd_x,d_y,2$であることを示す。
ReLUネットワークの既知の結果と比較すると、$w_min=maxd_x+1,d_y$ ドメインが $smashmathbb Rd_x$ の場合、まず、コンパクトなドメインでの近似はそれよりも小さい幅を必要とすることを示す。
論文 参考訳（メタデータ） (2023-09-19T08:04:48Z) - Minimum Width of Leaky-ReLU Neural Networks for Uniform Universal
Approximation [10.249623880822055]
本稿では,関数クラス $C(K,mathbbRd_y)$ に対する統一 UAP について検討する。
リーク-ReLU NNの正確な最小幅は$w_min=max(d_x,d_y)+Delta (d_x,d_y)$である。
論文 参考訳（メタデータ） (2023-05-29T06:51:16Z) - Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。
我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文 参考訳（メタデータ） (2023-02-03T03:19:14Z) - Estimating the minimizer and the minimum value of a regression function
under passive design [72.85024381807466]
最小値 $boldsymbolx*$ と最小値 $f*$ を滑らかで凸な回帰関数 $f$ で推定する新しい手法を提案する。
2次リスクと$boldsymbolz_n$の最適化誤差、および$f*$を推定するリスクについて、漸近的でない上界を導出する。
論文 参考訳（メタデータ） (2022-11-29T18:38:40Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Approximation Algorithms for ROUND-UFP and ROUND-SAP [0.06875312133832077]
古典的パッキング問題の2つの一般化であるROUND-UFPとROUND-SAPについて検討する。
ROUND-UFPでは、すべての矩形を与えられた経路の最小のコピー(ラウンド)にまとめることが目的である。
ROUND-SAP では、これらのタスクは長方形と見なされ、その目標はこれらの長方形を最小数のラウンドに重ね合わせることにある。
論文 参考訳（メタデータ） (2022-02-07T20:15:15Z) - Nearly Minimax Optimal Reinforcement Learning for Linear Mixture Markov
Decision Processes [91.38793800392108]
本稿では,マルコフ決定過程(MDP)の遷移確率核が線形混合モデルである線形関数近似による強化学習について検討する。
上記の線形混合 MDP に対して$textUCRL-VTR+$ という線形関数近似を用いた計算効率の良い新しいアルゴリズムを提案する。
我々の知る限り、これらは線形関数近似を持つRLのための計算効率が良く、ほぼ最小のアルゴリズムである。
論文 参考訳（メタデータ） (2020-12-15T18:56:46Z) - Minimum Width for Universal Approximation [91.02689252671291]
我々は、$Lp$関数の普遍近似に必要な最小幅がちょうど$maxd_x+1,d_y$であることを証明する。
また、同じ結論がReLUと一様近似に当てはまるのではなく、追加のしきい値アクティベーション関数で成り立つことを証明している。
論文 参考訳（メタデータ） (2020-06-16T01:24:21Z) - On Suboptimality of Least Squares with Application to Estimation of
Convex Bodies [74.39616164169131]
雑音支援関数の測定から得られる凸を次元$dgeq 6$で推定する際、最小広場の最適性に関するオープンな問題を解決した。
Least Squaresは準最適であり、$tildeTheta_d(n-2/(d-1))$であるのに対して、minimaxレートは$Theta_d(n-4/(d+3)$である。
論文 参考訳（メタデータ） (2020-06-07T05:19:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。