Fugu-MT 論文翻訳(概要): Implicit Hypersurface Approximation Capacity in Deep ReLU Networks

論文の概要: Implicit Hypersurface Approximation Capacity in Deep ReLU Networks

arxiv url: http://arxiv.org/abs/2407.03851v1
Date: Thu, 4 Jul 2024 11:34:42 GMT
ステータス: 処理完了
システム内更新日: 2024-07-08 18:22:43.806772
Title: Implicit Hypersurface Approximation Capacity in Deep ReLU Networks
Title（参考訳）: 深部ReLUネットワークにおける暗黙的超曲面近似能力
Authors: Jonatan Vallin, Karl Larsson, Mats G. Larson,
Abstract要約: 本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We develop a geometric approximation theory for deep feed-forward neural networks with ReLU activations. Given a $d$-dimensional hypersurface in $\mathbb{R}^{d+1}$ represented as the graph of a $C^2$-function $\phi$, we show that a deep fully-connected ReLU network of width $d+1$ can implicitly construct an approximation as its zero contour with a precision bound depending on the number of layers. This result is directly applicable to the binary classification setting where the sign of the network is trained as a classifier, with the network's zero contour as a decision boundary. Our proof is constructive and relies on the geometrical structure of ReLU layers provided in [doi:10.48550/arXiv.2310.03482]. Inspired by this geometrical description, we define a new equivalent network architecture that is easier to interpret geometrically, where the action of each hidden layer is a projection onto a polyhedral cone derived from the layer's parameters. By repeatedly adding such layers, with parameters chosen such that we project small parts of the graph of $\phi$ from the outside in, we, in a controlled way, construct a network that implicitly approximates the graph over a ball of radius $R$. The accuracy of this construction is controlled by a discretization parameter $\delta$ and we show that the tolerance in the resulting error bound scales as $(d-1)R^{3/2}\delta^{1/2}$ and the required number of layers is of order $d\big(\frac{32R}{\delta}\big)^{\frac{d+1}{2}}$.
Abstract（参考訳）: 本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。 C^2$-関数のグラフとして表される$\mathbb{R}^{d+1}$の$d$次元超曲面が与えられたとき、$d+1$の幅の深い完全連結なReLUネットワークは、層数に応じて精度に制限されたゼロの輪郭として暗黙的に近似を構築することができることを示す。この結果は、ネットワークの符号を分類器として訓練し、ネットワークのゼロ輪郭を決定境界とするバイナリ分類設定に直接適用される。我々の証明は構成的であり、[doi:10.48550/arXiv.2310.03482]で提供されるReLU層の幾何学的構造に依存している。この幾何学的記述にインスパイアされた新しい等価ネットワークアーキテクチャは、各隠蔽層の作用が各層のパラメータから導出される多面体円錐への射影であるので、幾何学的に容易に解釈できる。このような層を繰り返すことで、パラメータが選択され、外部から$\phi$のグラフの小さな部分を投影することで、制御された方法で、半径$R$の球上でグラフを暗黙的に近似するネットワークを構築する。この構成の精度は離散化パラメータ$\delta$で制御され、結果として生じる誤差境界スケールの耐性は$(d-1)R^{3/2}\delta^{1/2}$であり、必要なレイヤ数は$d\big(\frac{32R}{\delta}\big)^{\frac{d+1}{2}}$であることを示す。

関連論文リスト

Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
論文参考訳（メタデータ） (2024-09-10T14:31:21Z)
Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の勾配勾配勾配学習問題について検討する。 SGDに基づくアルゴリズムにより最適化された2層ニューラルネットワークは、情報指数に支配されない複雑さで$f_*$を学習する。
論文参考訳（メタデータ） (2024-06-03T17:56:58Z)
Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
論文参考訳（メタデータ） (2023-11-23T02:19:32Z)
Differential Equation Scaling Limits of Shaped and Unshaped Neural Networks [8.716913598251386]
類似した微分方程式に基づく2種類の不整形ネットワークのキャラクタリゼーションを求める。我々は第1次補正を階層的相関に導出する。これらの結果は、形状と未形状のネットワークアーキテクチャ間の接続を提供する。
論文参考訳（メタデータ） (2023-10-18T16:15:10Z)
On Expressivity of Height in Neural Networks [29.49793694185358]
私たちは、幅、深さ、高さが特徴のニューラルネットワークを3Dネットワークと呼んでいる。我々は、同じ数のニューロンとパラメータを与えられた場合、幅$W$、深さ$K$、高さ$H$の3D ReLUネットワークは、幅$Htimes W$および深さ$K$の2Dネットワークよりも表現力が高いことを示す。
論文参考訳（メタデータ） (2023-05-11T11:54:36Z)
Neural Network Architecture Beyond Width and Depth [4.468952886990851]
本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
論文参考訳（メタデータ） (2022-05-19T10:29:11Z)
Function approximation by deep neural networks with parameters $\{0,\pm \frac{1}{2}, \pm 1, 2\}$ [91.3755431537592]
C_beta$-smooth関数は、パラメータ$0,pm frac12, pm 1, 2$のニューラルネットワークによって近似できることが示されている。構築されたネットワークの深さ、幅、およびアクティブパラメータの数は、対数係数まで、$[-1,1]$のパラメータを持つネットワークと同じ近似誤差に依存します。
論文参考訳（メタデータ） (2021-03-15T19:10:02Z)
Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文参考訳（メタデータ） (2020-10-08T22:47:48Z)
A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文参考訳（メタデータ） (2020-08-06T09:50:29Z)
Sharp Representation Theorems for ReLU Networks with Precise Dependence on Depth [26.87238691716307]
D$ReLU層を持つニューラルネットワークに対して,2乗損失下でのシャープな表現結果を証明した。その結果、より深いネットワークはよりスムーズな関数を表現するのに優れているという仮説が実証された。
論文参考訳（メタデータ） (2020-06-07T05:25:06Z)
PUGeo-Net: A Geometry-centric Network for 3D Point Cloud Upsampling [103.09504572409449]
PUGeo-Netと呼ばれる新しいディープニューラルネットワークを用いた一様高密度点雲を生成する手法を提案する。その幾何学中心の性質のおかげで、PUGeo-Netはシャープな特徴を持つCADモデルとリッチな幾何学的詳細を持つスキャンされたモデルの両方でうまく機能する。
論文参考訳（メタデータ） (2020-02-24T14:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。