Fugu-MT 論文翻訳(概要): Gradient-enhanced deep neural network approximations

論文の概要: Gradient-enhanced deep neural network approximations

arxiv url: http://arxiv.org/abs/2211.04226v1
Date: Tue, 8 Nov 2022 13:16:02 GMT
ステータス: 処理完了
システム内更新日: 2022-11-09 17:30:45.001466
Title: Gradient-enhanced deep neural network approximations
Title（参考訳）: 勾配強化深部ニューラルネットワーク近似
Authors: Xiaodong Feng, Li Zeng
Abstract要約: 関数近似と不確実性定量化のための勾配強化ディープニューラルネットワーク(DNN)アプローチ。そこで本研究では,提案手法が従来のDNN手法よりも有益であることを示す数値実験を行った。
参考スコア（独自算出の注目度）: 1.9721888064019697
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose in this work the gradient-enhanced deep neural networks (DNNs) approach for function approximations and uncertainty quantification. More precisely, the proposed approach adopts both the function evaluations and the associated gradient information to yield enhanced approximation accuracy. In particular, the gradient information is included as a regularization term in the gradient-enhanced DNNs approach, for which we present similar posterior estimates (by the two-layer neural networks) as those in the path-norm regularized DNNs approximations. We also discuss the application of this approach to gradient-enhanced uncertainty quantification, and present several numerical experiments to show that the proposed approach can outperform the traditional DNNs approach in many cases of interests.
Abstract（参考訳）: 本稿では,関数近似と不確実性定量化のための勾配強化ディープニューラルネットワーク(DNN)アプローチを提案する。より正確には,提案手法は関数評価と関連する勾配情報の両方を採用し,近似精度を向上させる。特に、勾配情報は勾配強化DNNの手法における正規化用語として含まれており、経路ノルム正規化DNNの近似と同様の後方推定(二層ニューラルネットワークによる)を提示する。また, この手法の勾配拡大不確実性定量化への応用について検討し, 提案手法が従来のDNN手法よりも有益であることを示す数値実験を行った。

関連論文リスト

Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Stability and Generalization Analysis of Gradient Methods for Shallow Neural Networks [59.142826407441106]
本稿では,アルゴリズム安定性の概念を活用して,浅層ニューラルネットワーク(SNN)の一般化挙動について検討する。我々は、SNNを訓練するために勾配降下(GD)と勾配降下(SGD)を考慮する。
論文参考訳（メタデータ） (2022-09-19T18:48:00Z)
Graph Neural Network Based Node Deployment for Throughput Enhancement [20.56966053013759]
本稿では,ネットワークノード配置問題に対する新しいグラフニューラルネットワーク(GNN)手法を提案する。提案手法の理論的サポートとして,表現型GNNが関数値とトラフィック置換の両方を近似する能力を持つことを示す。
論文参考訳（メタデータ） (2022-08-19T08:06:28Z)
A Differentiable Point Process with Its Application to Spiking Neural Networks [13.160616423673373]
Jimenez Rezende & Gerstner (2014) は、隠れたニューロンでSNNを訓練するための変分推論アルゴリズムを提案した。本稿では,経路ワイド勾配推定器に基づくSNNの代替勾配推定器を提案する。
論文参考訳（メタデータ） (2021-06-02T02:40:17Z)
Optimal Rates for Averaged Stochastic Gradient Descent under Neural Tangent Kernel Regime [50.510421854168065]
平均勾配勾配勾配は極小収束率が得られることを示す。本稿では、ReLUネットワークのNTKで指定されたターゲット関数を最適収束速度で学習できることを示す。
論文参考訳（メタデータ） (2020-06-22T14:31:37Z)
Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
論文参考訳（メタデータ） (2020-06-04T21:51:21Z)
Constructing Accurate and Efficient Deep Spiking Neural Networks with Double-threshold and Augmented Schemes [35.395895930338455]
スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)が直面する高消費電力化など、現在の課題を克服する潜在的候補と考えられている。
論文参考訳（メタデータ） (2020-05-05T06:44:05Z)
Tune smarter not harder: A principled approach to tuning learning rates for shallow nets [13.203765985718201]
浅いフィードフォワードニューラルネットワークに対して,学習率を選択するための原則的アプローチを提案する。シミュレーションにより,提案手法が既存のチューニング手法よりも大幅に優れていることを示す。
論文参考訳（メタデータ） (2020-03-22T09:38:35Z)
Interpolation Technique to Speed Up Gradients Propagation in Neural ODEs [71.26657499537366]
本稿では,ニューラルネットワークモデルにおける勾配の効率的な近似法を提案する。我々は、分類、密度推定、推論近似タスクにおいて、ニューラルODEをトレーニングするリバースダイナミック手法と比較する。
論文参考訳（メタデータ） (2020-03-11T13:15:57Z)
Disentangling Adaptive Gradient Methods from Learning Rates [65.0397050979662]
適応的勾配法が学習率のスケジュールとどのように相互作用するかを、より深く検討する。我々は、更新の規模をその方向から切り離す"グラフティング"実験を導入する。適応勾配法の一般化に関する経験的および理論的考察を示す。
論文参考訳（メタデータ） (2020-02-26T21:42:49Z)
Semi-Implicit Back Propagation [1.5533842336139065]
ニューラルネットワークトレーニングのための半単純バック伝搬法を提案する。ニューロンの差は後方方向に伝播し、パラメータは近位写像で更新される。 MNISTとCIFAR-10の両方の実験により、提案アルゴリズムは損失減少とトレーニング/検証の精度の両方において、より良い性能をもたらすことが示された。
論文参考訳（メタデータ） (2020-02-10T03:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。