論文の概要: Deep ReLU networks and high-order finite element methods II: Chebyshev emulation

• arxiv url: http://arxiv.org/abs/2310.07261v1
• Date: Wed, 11 Oct 2023 07:38:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 02:32:50.604331
• Title: Deep ReLU networks and high-order finite element methods II: Chebyshev emulation
• Title（参考訳）: 深部ReLUネットワークと高次有限要素法II:チェビシェフエミュレーション
• Authors: Joost A. A. Opschoor and Christoph Schwab
• Abstract要約: ディープReLUニューラルネットワークのソボレフノルムにおける表現率と安定性に対処する。 点特異点を持つ解析関数に対して指数的ReLUエミュレーション率境界を示す。 我々は,Chebfun近似と構築型ReLU NNエミュレーションのインターフェースを開発する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expression rates and stability in Sobolev norms of deep ReLU neural networks (NNs) in terms of the number of parameters defining the NN for continuous, piecewise polynomial functions, on arbitrary, finite partitions $\mathcal{T}$ of a bounded interval $(a,b)$ are addressed. Novel constructions of ReLU NN surrogates encoding the approximated functions in terms of Chebyshev polynomial expansion coefficients are developed. Chebyshev coefficients can be computed easily from the values of the function in the Clenshaw--Curtis points using the inverse fast Fourier transform. Bounds on expression rates and stability that are superior to those of constructions based on ReLU NN emulations of monomials considered in [Opschoor, Petersen, Schwab, 2020] are obtained. All emulation bounds are explicit in terms of the (arbitrary) partition of the interval, the target emulation accuracy and the polynomial degree in each element of the partition. ReLU NN emulation error estimates are provided for various classes of functions and norms, commonly encountered in numerical analysis. In particular, we show exponential ReLU emulation rate bounds for analytic functions with point singularities and develop an interface between Chebfun approximations and constructive ReLU NN emulations.
• Abstract（参考訳）: 深いReLUニューラルネットワーク(NN)のソボレフノルムにおける表現率と安定性は、任意の有限分割上の連続的多項式関数に対してNNを定義するパラメータの個数$\mathcal{T}$の有界区間$(a,b)$に対処する。 チェビシェフ多項式展開係数を用いて近似関数を符号化するReLU NNサロゲートの新しい構成法を開発した。 チェビシェフ係数は、逆高速フーリエ変換を用いてクレンショー-カーティス点の関数の値から容易に計算できる。 モノミアル(Opschoor, Petersen, Schwab, 2020)のReLU NNエミュレーションに基づく構造よりも優れた表現率と安定性のバウンドが得られた。 すべてのエミュレーション境界は、インターバルの(任意)パーティション、ターゲットエミュレーション精度、およびパーティションの各要素における多項式次数の観点から明示的である。 ReLU NNエミュレーション誤差推定は、様々な関数とノルムのクラスに対して提供され、数値解析でよく見られる。 特に、点特異点を持つ解析関数に対する指数的ReLUエミュレーション率境界を示し、Chebfun近似と構成的ReLU NNエミュレーションのインターフェースを開発する。

関連論文リスト

• Generalization Bounds and Model Complexity for Kolmogorov-Arnold Networks [1.5850926890180461]
  Kolmogorov-Arnold Network (KAN)は、Liuらによって最近提案されたネットワーク構造である。 活性化関数を備えたカンの一般化境界を確立することにより、カンの厳密な理論的解析を提供する。
  論文  参考訳（メタデータ） (2024-10-10T15:23:21Z)
• Approximation Error and Complexity Bounds for ReLU Networks on Low-Regular Function Spaces [0.0]
  本稿では,ReLUニューラルネットワークによる有界関数のクラスを最小限の正則性仮定で近似する。 近似誤差は対象関数の一様ノルムに比例した量で上から有界化可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T14:31:58Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression [1.7227952883644062]
  本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。 分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
  論文  参考訳（メタデータ） (2022-11-20T12:29:06Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。 本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• On the existence of global minima and convergence analyses for gradient descent methods in the training of deep neural networks [3.198144010381572]
  フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。 我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。 また、勾配流微分方程式の解も研究する。
  論文  参考訳（メタデータ） (2021-12-17T18:55:40Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation [17.199023009789308]
  予想されるSGD(SGD)の仮定は、非アーティザン関数に対して日常的に使われている。 本稿では,スムーズな非線形設定への収束のパラダイムを示す。 また,異なるステップサイズ条件の理論的保証も提供する。
  論文  参考訳（メタデータ） (2020-06-18T07:05:56Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。