論文の概要: Higher-order Quasi-Monte Carlo Training of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2009.02713v1
• Date: Sun, 6 Sep 2020 11:31:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 08:38:13.679089
• Title: Higher-order Quasi-Monte Carlo Training of Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークの高次準モンテカルロ訓練
• Authors: M. Longo, S. Mishra, T. K. Rusch, Ch. Schwab
• Abstract要約: 本稿では,DNN (Deep Neural Network) によるDtO (Data-to-Observable) マップのトレーニングに準モンテカルロ点を用いた新しいアルゴリズム手法と誤差解析を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel algorithmic approach and an error analysis leveraging Quasi-Monte Carlo points for training deep neural network (DNN) surrogates of Data-to-Observable (DtO) maps in engineering design. Our analysis reveals higher-order consistent, deterministic choices of training points in the input data space for deep and shallow Neural Networks with holomorphic activation functions such as tanh. These novel training points are proved to facilitate higher-order decay (in terms of the number of training samples) of the underlying generalization error, with consistency error bounds that are free from the curse of dimensionality in the input data space, provided that DNN weights in hidden layers satisfy certain summability conditions. We present numerical experiments for DtO maps from elliptic and parabolic PDEs with uncertain inputs that confirm the theoretical analysis.
• Abstract（参考訳）: 本稿では,DNN (Deep Neural Network) によるDtO (Data-to-Observable) マップのトレーニングに準モンテカルロ点を用いた新しいアルゴリズム手法と誤差解析を提案する。 本解析により,tanhなどの正則活性化関数を持つ深層および浅層ニューラルネットワークの入力データ空間におけるトレーニング点の高次一貫性,決定論的選択が明らかになった。 これらの新しいトレーニングポイントは、基礎となる一般化誤差の高次減衰(トレーニングサンプル数)を促進することが証明され、入力データ空間における次元の呪いのない整合誤差境界は、隠蔽層におけるDNN重みが一定の総和条件を満たすことを仮定する。 本稿では,理論解析を裏付ける不確定な入力を持つ楕円型および放物型pdesからのdto写像の数値実験を行う。

関連論文リスト

• Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
  我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。 ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
  論文  参考訳（メタデータ） (2024-09-27T16:02:12Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Dense Hebbian neural networks: a replica symmetric picture of supervised learning [4.133728123207142]
  我々は教師が指導する高密度で連想的なニューラルネットについて検討する。 スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
  論文  参考訳（メタデータ） (2022-11-25T13:37:47Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• Variational Inference for Infinitely Deep Neural Networks [0.4061135251278187]
  非有界深度ニューラルネットワーク(UDN) 我々は、無限に深い確率モデルである非有界深度ニューラルネットワーク(UDN)を導入し、その複雑さをトレーニングデータに適用する。 我々はUDNを実データと合成データに基づいて研究する。
  論文  参考訳（メタデータ） (2022-09-21T03:54:34Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds [0.0]
  本稿では,Deep Neural Networks (DNN) において,どの層を考慮すべきかという質問に対する定量的回答を試みる。 基礎となる仮定は、層ごとのニューロンの数、すなわちDNNの幅が一定であることである。 我々は、仮定の到達可能性と訓練問題における正規化項の散逸誘導選択に基づいて、DNNの必要な深さの明示的な境界を証明する。
  論文  参考訳（メタデータ） (2021-01-08T13:23:37Z)
• Rectified Linear Postsynaptic Potential Function for Backpropagation in Deep Spiking Neural Networks [55.0627904986664]
  スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。 本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
  論文  参考訳（メタデータ） (2020-03-26T11:13:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。