Fugu-MT 論文翻訳(概要): Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations

論文の概要: Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations

arxiv url: http://arxiv.org/abs/2101.03583v1
Date: Sun, 10 Jan 2021 17:34:10 GMT
ステータス: 処理完了
システム内更新日: 2021-04-08 11:46:59.613957
Title: Accuracy and Architecture Studies of Residual Neural Network solving Ordinary Differential Equations
Title（参考訳）: 正規微分方程式を解く残留ニューラルネットワークの精度とアーキテクチャに関する研究
Authors: Changxin Qiu, Aaron Bendickson, Joshua Kalyanapu and Jue Yan
Abstract要約: 通常の微分方程式を解くために残存ニューラルネットワーク(ResNet)を利用することを検討する。本稿では、Euler, Runge-Kutta2 および Runge-Kutta4 の有限差分法を適用し、ResNet を訓練する3つのターゲットを生成する。よく訓練されたResNetは、対応する1ステップの有限差分法と同等に振る舞う。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this paper we consider utilizing a residual neural network (ResNet) to solve ordinary differential equations. Stochastic gradient descent method is applied to obtain the optimal parameter set of weights and biases of the network. We apply forward Euler, Runge-Kutta2 and Runge-Kutta4 finite difference methods to generate three sets of targets training the ResNet and carry out the target study. The well trained ResNet behaves just as its counterpart of the corresponding one-step finite difference method. In particular, we carry out (1) the architecture study in terms of number of hidden layers and neurons per layer to find the optimal ResNet structure; (2) the target study to verify the ResNet solver behaves as accurate as its finite difference method counterpart; (3) solution trajectory simulation. Even the ResNet solver looks like and is implemented in a way similar to forward Euler scheme, its accuracy can be as high as any one step method. A sequence of numerical examples are presented to demonstrate the performance of the ResNet solver.
Abstract（参考訳）: 本稿では,残留ニューラルネットワーク(resnet)を用いた常微分方程式の解法を提案する。ネットワークの重みとバイアスの最適パラメータセットを得るために, 確率勾配降下法を適用した。 euler,runge-kutta2およびrunge-kutta4有限差分法を適用し,resnetを訓練する3つのターゲットセットを生成し,対象研究を行う。よく訓練されたResNetは、対応する1ステップの有限差分法と同等に振る舞う。特に,(1) 最適ResNet構造を見つけるために, 1層当たりの隠蔽層数, ニューロン数の観点からアーキテクチャ研究を行い, (2) ResNetソルバの有限差分法と同等の精度で動作を検証し, (3) 解軌道シミュレーションを行った。 ResNetソルバは前方のEulerスキームと同様の方法で実装されているが、その精度は任意の1ステップの手法と同じくらいに高い。 resnetソルバの性能を示すために,数値例の列が提示された。

関連論文リスト

Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文参考訳（メタデータ） (2024-11-14T02:00:22Z)
Rational-WENO: A lightweight, physically-consistent three-point weighted essentially non-oscillatory scheme [14.120671138290104]
我々は、解の局所的な滑らかさを正確に推定するために有理ニューラルネットワークを用いる。この手法は, 散逸を著しく低減した粒度の再構築を実現する。提案手法の有効性を,数個の1次元,2次元,3次元の流体問題に対して示す。
論文参考訳（メタデータ） (2024-09-13T22:11:03Z)
Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文参考訳（メタデータ） (2023-03-03T08:17:47Z)
Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文参考訳（メタデータ） (2022-02-07T17:47:46Z)
Joint inference and input optimization in equilibrium networks [68.63726855991052]
ディープ均衡モデル(Deep equilibrium model)は、従来のネットワークの深さを予測し、代わりに単一の非線形層の固定点を見つけることによってネットワークの出力を計算するモデルのクラスである。この2つの設定の間には自然なシナジーがあることが示されています。この戦略は、生成モデルのトレーニングや、潜時符号の最適化、デノベートやインペインティングといった逆問題に対するトレーニングモデル、対逆トレーニング、勾配に基づくメタラーニングなど、様々なタスクにおいて実証される。
論文参考訳（メタデータ） (2021-11-25T19:59:33Z)
Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文参考訳（メタデータ） (2021-03-15T17:26:34Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。 1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文参考訳（メタデータ） (2021-02-20T23:26:58Z)
Computational characteristics of feedforward neural networks for solving a stiff differential equation [0.0]
減衰系をモデル化する単純だが基本的な常微分方程式の解について検討する。パラメータやメソッドに対して好適な選択を特定できることを示す。全体として、ニューラルネットワークアプローチによる信頼性と正確な結果を得るために何ができるかを示すことで、この分野の現在の文献を拡張します。
論文参考訳（メタデータ） (2020-12-03T12:22:24Z)
A Residual Solver and Its Unfolding Neural Network for Total Variation Regularized Models [5.9622541907827875]
本稿では,入力と未知最適解の間の残差を求めることで,全変分正規化モデルを解くことを提案する。残差解法が500個の自然画像の古典的手法と同じ大域的最適解に到達できることを数値的に確認する。提案したアルゴリズムとニューラルネットワークは、その有効性と効率を示すために、いくつかの問題にうまく適用されている。
論文参考訳（メタデータ） (2020-09-08T01:44:34Z)
ODEN: A Framework to Solve Ordinary Differential Equations using Artificial Neural Networks [0.0]
我々は、ニューラルネットワークの性能を評価するために、正確な解の知識を必要としない特定の損失関数を証明した。ニューラルネットワークは、トレーニング領域内での継続的ソリューションの近似に熟練していることが示されている。ユーザフレンドリで適応可能なオープンソースコード(ODE$mathcalN$)がGitHubで提供されている。
論文参考訳（メタデータ） (2020-05-28T15:34:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。