論文の概要: Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems

• arxiv url: http://arxiv.org/abs/2208.13305v3
• Date: Tue, 10 Oct 2023 04:45:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 16:18:52.911695
• Title: Neural Network Approximation of Continuous Functions in High Dimensions with Applications to Inverse Problems
• Title（参考訳）: 高次元連続関数のニューラルネットワーク近似と逆問題への応用
• Authors: Santhosh Karnik, Rongrong Wang, and Mark Iwen
• Abstract要約: 現在の理論では、ネットワークは問題の次元で指数関数的にスケールすべきだと予測されている。 ニューラルネットワークがH"より古い(あるいは一様)連続関数を近似するのに要する複雑性を境界付ける一般的な方法を提案する。
• 参考スコア（独自算出の注目度）: 6.84380898679299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The remarkable successes of neural networks in a huge variety of inverse problems have fueled their adoption in disciplines ranging from medical imaging to seismic analysis over the past decade. However, the high dimensionality of such inverse problems has simultaneously left current theory, which predicts that networks should scale exponentially in the dimension of the problem, unable to explain why the seemingly small networks used in these settings work as well as they do in practice. To reduce this gap between theory and practice, we provide a general method for bounding the complexity required for a neural network to approximate a H\"older (or uniformly) continuous function defined on a high-dimensional set with a low-complexity structure. The approach is based on the observation that the existence of a Johnson-Lindenstrauss embedding $A\in\mathbb{R}^{d\times D}$ of a given high-dimensional set $S\subset\mathbb{R}^D$ into a low dimensional cube $[-M,M]^d$ implies that for any H\"older (or uniformly) continuous function $f:S\to\mathbb{R}^p$, there exists a H\"older (or uniformly) continuous function $g:[-M,M]^d\to\mathbb{R}^p$ such that $g(Ax)=f(x)$ for all $x\in S$. Hence, if one has a neural network which approximates $g:[-M,M]^d\to\mathbb{R}^p$, then a layer can be added that implements the JL embedding $A$ to obtain a neural network that approximates $f:S\to\mathbb{R}^p$. By pairing JL embedding results along with results on approximation of H\"older (or uniformly) continuous functions by neural networks, one then obtains results which bound the complexity required for a neural network to approximate H\"older (or uniformly) continuous functions on high dimensional sets. The end result is a general theoretical framework which can then be used to better explain the observed empirical successes of smaller networks in a wider variety of inverse problems than current theory allows.
• Abstract（参考訳）: さまざまな逆問題におけるニューラルネットワークの顕著な成功は、過去10年間に医療画像から地震解析まで、さまざまな分野に採用されている。 しかし、そのような逆問題の高次元性は同時に現在の理論を残しており、これはネットワークが問題の次元で指数関数的にスケールすべきであると予測し、これらの設定で使用されるように見える小さなネットワークが実際に機能する理由を説明することができない。 この理論と実践のギャップを小さくするために、ニューラルネットワークが低複素構造を持つ高次元集合上で定義されるH\(あるいは一様)連続関数を近似するのに要する複雑さを境界付ける一般的な方法を提案する。 このアプローチは、与えられた高次元集合 $s\subset\mathbb{r}^d$ を低次元立方体 $[-m,m]^d$ に埋め込みた johnson-lindenstrauss の存在が、任意の h\"older (または一様) 連続函数 $f:s\to\mathbb{r}^p$ に対して、すべての $x\in s$ に対して $g(ax)=f(x)$ となるような h\"older (または一様)連続函数 $g:[-m,m]^d\to\mathbb{r}^p$ が存在することを仮定している。 したがって、もし$g:[-m,m]^d\to\mathbb{r}^p$に近いニューラルネットワークがある場合、$f:s\to\mathbb{r}^p$に近いニューラルネットワークを得るために、jl埋め込み$a$を実装する層を追加することができる。 jl埋め込み結果をニューラルネットワークによるh\"older(または一様)連続関数の近似結果と組み合わせることで、ニューラルネットワークが高次元集合上でh\"older(または一様)連続関数を近似するために必要な複雑性を境界とする結果が得られる。 最終的な結果は、現在の理論よりも幅広い逆問題において、より小さなネットワークで観測された経験的成功を説明するのに使用できる一般的な理論フレームワークである。

関連論文リスト

• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Deep neural network approximation of analytic functions [91.3755431537592]
  ニューラルネットワークの空間に エントロピーバウンド 片方向の線形活性化関数を持つ 我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
  論文  参考訳（メタデータ） (2021-04-05T18:02:04Z)
• Large-width functional asymptotics for deep Gaussian neural networks [2.7561479348365734]
  重みとバイアスが独立であり、ガウス分布に従って同一に分布する完全連結フィードフォワード深層ニューラルネットワークを考える。 この結果は、無限に広い深層ニューラルネットワークとプロセス間の相互作用に関する最近の理論的研究に寄与する。
  論文  参考訳（メタデータ） (2021-02-20T10:14:37Z)
• The universal approximation theorem for complex-valued neural networks [0.0]
  ニューラルネットワークの古典的普遍近似を複素数値ニューラルネットワークの場合に一般化する。 複雑な活性化関数 $sigma : mathbbC to mathbbC$ のフィードフォワードネットワークを考える。各ニューロンが mathbbCN to mathbbC, z mapto sigma(b + wT z)$ を演算し、 mathbbCN$ の重みが $w で、数学の偏りが $b である。
  論文  参考訳（メタデータ） (2020-12-06T18:51:10Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
  ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。 さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
  論文  参考訳（メタデータ） (2020-07-30T23:50:44Z)
• On the Banach spaces associated with multi-layer ReLU networks: Function representation, approximation theory and gradient descent dynamics [8.160343645537106]
  有限深さ$L$および無限幅のReLUニューラルネットワークに対するバナッハ空間を開発する。 空間はすべての有限完全連結な$L$-層ネットワークと、それらの$L2$-極限オブジェクトを自然経路ノルムの下に含む。 このノルムの下では、$L$層ネットワークの空間内の単位球は、ラデマッハの複雑さが低く、したがって好ましい性質を持つ。
  論文  参考訳（メタデータ） (2020-07-30T17:47:05Z)
• Interval Universal Approximation for Neural Networks [47.767793120249095]
  区間普遍近似(IUA)定理を導入する。 IUAは、ニューラルネットワークが何十年にもわたって知られているような、あらゆる連続関数の$f$を近似できることを示している。 本稿では,精度の高い区間解析が可能なニューラルネットワークを構築する際の計算複雑性について検討する。
  論文  参考訳（メタデータ） (2020-07-12T20:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。