論文の概要: Deep ReLU networks and high-order finite element methods II: Chebyshev
emulation
- arxiv url: http://arxiv.org/abs/2310.07261v1
- Date: Wed, 11 Oct 2023 07:38:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 02:32:50.604331
- Title: Deep ReLU networks and high-order finite element methods II: Chebyshev
emulation
- Title(参考訳): 深部ReLUネットワークと高次有限要素法II:チェビシェフエミュレーション
- Authors: Joost A. A. Opschoor and Christoph Schwab
- Abstract要約: ディープReLUニューラルネットワークのソボレフノルムにおける表現率と安定性に対処する。
点特異点を持つ解析関数に対して指数的ReLUエミュレーション率境界を示す。
我々は,Chebfun近似と構築型ReLU NNエミュレーションのインターフェースを開発する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Expression rates and stability in Sobolev norms of deep ReLU neural networks
(NNs) in terms of the number of parameters defining the NN for continuous,
piecewise polynomial functions, on arbitrary, finite partitions $\mathcal{T}$
of a bounded interval $(a,b)$ are addressed. Novel constructions of ReLU NN
surrogates encoding the approximated functions in terms of Chebyshev polynomial
expansion coefficients are developed. Chebyshev coefficients can be computed
easily from the values of the function in the Clenshaw--Curtis points using the
inverse fast Fourier transform. Bounds on expression rates and stability that
are superior to those of constructions based on ReLU NN emulations of monomials
considered in [Opschoor, Petersen, Schwab, 2020] are obtained. All emulation
bounds are explicit in terms of the (arbitrary) partition of the interval, the
target emulation accuracy and the polynomial degree in each element of the
partition. ReLU NN emulation error estimates are provided for various classes
of functions and norms, commonly encountered in numerical analysis. In
particular, we show exponential ReLU emulation rate bounds for analytic
functions with point singularities and develop an interface between Chebfun
approximations and constructive ReLU NN emulations.
- Abstract(参考訳): 深いReLUニューラルネットワーク(NN)のソボレフノルムにおける表現率と安定性は、任意の有限分割上の連続的多項式関数に対してNNを定義するパラメータの個数$\mathcal{T}$の有界区間$(a,b)$に対処する。
チェビシェフ多項式展開係数を用いて近似関数を符号化するReLU NNサロゲートの新しい構成法を開発した。
チェビシェフ係数は、逆高速フーリエ変換を用いてクレンショー-カーティス点の関数の値から容易に計算できる。
モノミアル(Opschoor, Petersen, Schwab, 2020)のReLU NNエミュレーションに基づく構造よりも優れた表現率と安定性のバウンドが得られた。
すべてのエミュレーション境界は、インターバルの(任意)パーティション、ターゲットエミュレーション精度、およびパーティションの各要素における多項式次数の観点から明示的である。
ReLU NNエミュレーション誤差推定は、様々な関数とノルムのクラスに対して提供され、数値解析でよく見られる。
特に、点特異点を持つ解析関数に対する指数的ReLUエミュレーション率境界を示し、Chebfun近似と構成的ReLU NNエミュレーションのインターフェースを開発する。
関連論文リスト
- A Mean-Field Analysis of Neural Gradient Descent-Ascent: Applications to Functional Conditional Moment Equations [90.87444114491116]
無限次元関数クラス上で定義されるミニマックス最適化問題について検討する。
また、勾配降下度アルゴリズムの収束とニューラルネットワークの表現学習についても検討する。
論文 参考訳(メタデータ) (2024-04-18T16:46:08Z) - Statistical Optimality of Divide and Conquer Kernel-based Functional
Linear Regression [1.7227952883644062]
本稿では,対象関数が基礎となるカーネル空間に存在しないシナリオにおいて,分割・コンカレント推定器の収束性能について検討する。
分解に基づくスケーラブルなアプローチとして、関数線形回帰の分割・収束推定器は、時間とメモリにおけるアルゴリズムの複雑さを大幅に減らすことができる。
論文 参考訳(メタデータ) (2022-11-20T12:29:06Z) - Langevin dynamics based algorithm e-TH$\varepsilon$O POULA for
stochastic optimization problems with discontinuous stochastic gradient [7.170021086161168]
我々は,不連続勾配による最適化問題を解くために,e-TH$varepsilon$O POULAと呼ばれる新しいランゲヴィン力学に基づくアルゴリズムを導入する。
金融と保険の3つの重要な応用として、多周期ポートフォリオ最適化、多周期ポートフォリオ最適化におけるトランスファーラーニング、保険請求予測がある。
論文 参考訳(メタデータ) (2022-10-24T13:10:06Z) - Bagged Polynomial Regression and Neural Networks [0.0]
時系列とデータセットの回帰は、ニューラルネットワークと同じ関数クラスを近似することができる。
本稿では、ニューラルネットワークの魅力的な代替手段として、bagged regression (BPR) の使用を提案する。
論文 参考訳(メタデータ) (2022-05-17T19:55:56Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳(メタデータ) (2022-02-07T17:47:46Z) - On the existence of global minima and convergence analyses for gradient
descent methods in the training of deep neural networks [3.198144010381572]
フィードフォワード深層ReLU ANNを任意に多数の隠蔽層で研究する。
我々は,そのようなANNの訓練において,ランダムなGD最適化手法のリスクを収束させることを証明した。
また、勾配流微分方程式の解も研究する。
論文 参考訳(メタデータ) (2021-12-17T18:55:40Z) - Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。
彼らは不利な姿勢と収束の不安定さに悩まされる。
本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
論文 参考訳(メタデータ) (2021-06-06T18:05:02Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳(メタデータ) (2020-11-09T18:32:22Z) - Analytical bounds on the local Lipschitz constants of affine-ReLU
functions [0.0]
Affine-ReLU関数の局所リプシッツ定数の上界を数学的に決定する。
ネットワーク全体のバウンダリを決定するために、これらのバウンダリをどのように組み合わせることができるかを示す。
我々は、この結果をAlexNetに適用し、MNISTとCIFAR-10データセットに基づくいくつかの小さなネットワークを例示する。
論文 参考訳(メタデータ) (2020-08-14T00:23:21Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Neural Networks are Convex Regularizers: Exact Polynomial-time Convex
Optimization Formulations for Two-layer Networks [70.15611146583068]
我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。
我々の理論は半無限双対性と最小ノルム正規化を利用する。
論文 参考訳(メタデータ) (2020-02-24T21:32:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。