論文の概要: Deep Operator Network Approximation Rates for Lipschitz Operators

• arxiv url: http://arxiv.org/abs/2307.09835v1
• Date: Wed, 19 Jul 2023 08:46:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 14:47:02.375552
• Title: Deep Operator Network Approximation Rates for Lipschitz Operators
• Title（参考訳）: リプシッツ演算子の深部演算子ネットワーク近似率
• Authors: Christoph Schwab, Andreas Stein and Jakob Zech
• Abstract要約: 我々は,リプシッツ連続写像を模擬したニューラルディープ・オペレーター・ネットワーク(DON)のクラスに対して,普遍性と表現率境界を確立する。 DON アーキテクチャは線形エンコーダ $mathcal E$ とデコーダ $mathcal D$ を (biorthogonal) Riesz bases of $mathcal X$, $mathcal Y$ で使用する。 現在の表現率境界の証明における鍵は、超表現的アクティベーションの使用である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We establish universality and expression rate bounds for a class of neural Deep Operator Networks (DON) emulating Lipschitz (or H\"older) continuous maps $\mathcal G:\mathcal X\to\mathcal Y$ between (subsets of) separable Hilbert spaces $\mathcal X$, $\mathcal Y$. The DON architecture considered uses linear encoders $\mathcal E$ and decoders $\mathcal D$ via (biorthogonal) Riesz bases of $\mathcal X$, $\mathcal Y$, and an approximator network of an infinite-dimensional, parametric coordinate map that is Lipschitz continuous on the sequence space $\ell^2(\mathbb N)$. Unlike previous works ([Herrmann, Schwab and Zech: Neural and Spectral operator surrogates: construction and expression rate bounds, SAM Report, 2022], [Marcati and Schwab: Exponential Convergence of Deep Operator Networks for Elliptic Partial Differential Equations, SAM Report, 2022]), which required for example $\mathcal G$ to be holomorphic, the present expression rate results require mere Lipschitz (or H\"older) continuity of $\mathcal G$. Key in the proof of the present expression rate bounds is the use of either super-expressive activations (e.g. [Yarotski: Elementary superexpressive activations, Int. Conf. on ML, 2021], [Shen, Yang and Zhang: Neural network approximation: Three hidden layers are enough, Neural Networks, 2021], and the references there) which are inspired by the Kolmogorov superposition theorem, or of nonstandard NN architectures with standard (ReLU) activations as recently proposed in [Zhang, Shen and Yang: Neural Network Architecture Beyond Width and Depth, Adv. in Neural Inf. Proc. Sys., 2022]. We illustrate the abstract results by approximation rate bounds for emulation of a) solution operators for parametric elliptic variational inequalities, and b) Lipschitz maps of Hilbert-Schmidt operators.
• Abstract（参考訳）: リプシッツ (Lipschitz) の連続写像 $\mathcal G:\mathcal X\to\mathcal Y$ を (部分集合) 分離可能なヒルベルト空間 $\mathcal X$, $\mathcal Y$ の間でエミュレートする神経深部演算子ネットワーク (DON) のクラスに対する普遍性と表現率境界を確立する。 DON アーキテクチャは線形エンコーダ $\mathcal E$ とデコーダ $\mathcal D$ を (biorthogonal) Riesz bases of $\mathcal X$, $\mathcal Y$, and a approximator network of a infinite-dimensional, parametric coordinate map that are Lipschitz continuous on the sequence space $\ell^2(\mathbb N)$. Herrmann, Schwab and Zech: Neural and Spectral operator surrogates: construction and expression rate bounds, SAM Report, 2022], [Marcati and Schwab: Exponential Convergence of Deep Operator Networks for Elliptic partial Differential Equations, SAM Report, 2022] と異なり、例えば $\mathcal G$ を正則にするためには、現在の式率は $\mathcal G$ の半連続性を必要とする。 Key in the proof of the present expression rate bounds is the use of either super-expressive activations (e.g. [Yarotski: Elementary superexpressive activations, Int. Conf. on ML, 2021], [Shen, Yang and Zhang: Neural network approximation: Three hidden layers are enough, Neural Networks, 2021], and the references there) which are inspired by the Kolmogorov superposition theorem, or of nonstandard NN architectures with standard (ReLU) activations as recently proposed in [Zhang, Shen and Yang: Neural Network Architecture Beyond Width and Depth, Adv. in Neural Inf. Proc. Sys., 2022]. 我々はエミュレーションのための近似レート境界を用いて抽象的な結果を示す。 a)パラメトリック楕円変分不等式に対する解演算子、及び b) ヒルベルト・シュミット作用素のリプシッツ写像

関連論文リスト

• New advances in universal approximation with neural networks of minimal width [4.424170214926035]
  リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。 我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
  論文  参考訳（メタデータ） (2024-11-13T16:17:16Z)
• Operator Learning with Gaussian Processes [0.18641315013048293]
  演算子学習は、関数の無限次元空間間の近似写像 $mathcalGdagger:mathcalU rightarrowmathcalV$ に焦点を当てる。 両手法の長所を生かした演算子学習のためのGP/NNベースのハイブリッドフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-06T18:06:08Z)
• Neural network learns low-dimensional polynomials with SGD near the information-theoretic limit [75.4661041626338]
  単一インデックス対象関数 $f_*(boldsymbolx) = textstylesigma_*left(langleboldsymbolx,boldsymbolthetarangleright)$ の等方的ガウスデータの下で勾配降下学習の問題を考察する。 SGDアルゴリズムで最適化された2層ニューラルネットワークは、サンプル付き任意のリンク関数の$f_*$を学習し、実行時の複雑さは$n asymp T asymp C(q) cdot dであることを示す。
  論文  参考訳（メタデータ） (2024-06-03T17:56:58Z)
• Nearly Optimal Regret for Decentralized Online Convex Optimization [53.433398074919]
  分散オンライン凸最適化(D-OCO)は,局所計算と通信のみを用いて,グローバルな損失関数の列を最小化することを目的としている。 我々は凸関数と強い凸関数の残差をそれぞれ低減できる新しいD-OCOアルゴリズムを開発した。 我々のアルゴリズムは、$T$、$n$、$rho$の点でほぼ最適です。
  論文  参考訳（メタデータ） (2024-02-14T13:44:16Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Kernel Methods are Competitive for Operator Learning [1.4132765964347058]
  本稿では,Banach空間間の演算子を学習するためのカーネルベースのフレームワークと,プリオリエラー解析を提案する。 バニラカーネルを使用したとしても、当社のアプローチはコスト-正確性トレードオフの点で競争力があることが示されています。
  論文  参考訳（メタデータ） (2023-04-26T00:07:59Z)
• An Approximation Theory for Metric Space-Valued Functions With A View Towards Deep Learning [25.25903127886586]
  任意のポーランド計量空間 $mathcalX$ と $mathcalY$ の間の連続写像の普遍函数近似器を構築する。 特に、必要なディラック測度数は $mathcalX$ と $mathcalY$ の構造によって決定されることを示す。
  論文  参考訳（メタデータ） (2023-04-24T16:18:22Z)
• On the Sample Complexity of Two-Layer Networks: Lipschitz vs. Element-Wise Lipschitz Activation [20.70453775428433]
  本研究では,異なるアクティベーション関数を用いた有界二層ニューラルネットワークのサンプル複雑性について検討する。 我々は、$sigma$ が要素ワイドであれば、$mathcalH$ のサンプルの複雑さは、幅の対数依存しか持たないことを証明する。
  論文  参考訳（メタデータ） (2022-11-17T16:27:15Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。