論文の概要: Multisymplectic Formulation of Deep Learning Using Mean--Field Type
Control and Nonlinear Stability of Training Algorithm
- arxiv url: http://arxiv.org/abs/2207.12242v1
- Date: Thu, 7 Jul 2022 23:14:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-31 14:42:23.331587
- Title: Multisymplectic Formulation of Deep Learning Using Mean--Field Type
Control and Nonlinear Stability of Training Algorithm
- Title（参考訳）: 平均場型制御と学習アルゴリズムの非線形安定性を用いた深層学習のマルチシンプレクティック定式化
- Authors: Nader Ganaba
- Abstract要約: 我々は,マルチシンプレクティック構造を持つ流体力学系として,ディープニューラルネットワークのトレーニングを定式化する。
そのため、ディープニューラルネットワークは微分方程式を用いてモデル化され、平均場型制御を用いて学習する。
数値スキームは、多重シンプレクティック構造を持つ流体力学系の正確な解でもある近似解を生成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As it stands, a robust mathematical framework to analyse and study various
topics in deep learning is yet to come to the fore. Nonetheless, viewing deep
learning as a dynamical system allows the use of established theories to
investigate the behaviour of deep neural networks. In order to study the
stability of the training process, in this article, we formulate training of
deep neural networks as a hydrodynamics system, which has a multisymplectic
structure. For that, the deep neural network is modelled using a stochastic
differential equation and, thereby, mean-field type control is used to train
it. The necessary conditions for optimality of the mean--field type control
reduce to a system of Euler-Poincare equations, which has the a similar
geometric structure to that of compressible fluids. The mean-field type control
is solved numerically using a multisymplectic numerical scheme that takes
advantage of the underlying geometry. Moreover, the numerical scheme, yields an
approximated solution which is also an exact solution of a hydrodynamics system
with a multisymplectic structure and it can be analysed using backward error
analysis. Further, nonlinear stability yields the condition for selecting the
number of hidden layers and the number of nodes per layer, that makes the
training stable while approximating the solution of a residual neural network
with a number of hidden layers approaching infinity.
- Abstract（参考訳）: 現状では、ディープラーニングのさまざまなトピックを分析して研究するための、堅牢な数学的フレームワークはまだ先を行っている段階です。
それでも、ディープラーニングを動的システムとして見ることによって、確立された理論を使ってディープニューラルネットワークの振る舞いを調査することができる。
本稿では,多相構造を持つ流体力学系として,深層ニューラルネットワークの学習を定式化する。
そのため、ディープニューラルネットワークは確率微分方程式を用いてモデル化され、平均場型制御を用いて学習する。
平均場型制御の最適性に必要な条件は、圧縮性流体と同様の幾何学的構造を持つオイラー・ポインカレ方程式の系に還元される。
平均場型制御は、基礎となる幾何学を生かしたマルチシンプレクティックな数値スキームを用いて数値的に解く。
さらに,多相構造を持つ流体力学系の厳密解である近似解を導出し,逆誤差解析を用いて解析することができる。
さらに、非線形安定性は、隠蔽層数と1層当たりのノード数を選択する条件をもたらし、この条件により、無限大に近づく複数の隠蔽層を持つ残留ニューラルネットワークの解を近似しながら、トレーニングを安定させる。
関連論文リスト
- Learning Controlled Stochastic Differential Equations [61.82896036131116]
本研究では,非一様拡散を伴う連続多次元非線形微分方程式のドリフト係数と拡散係数の両方を推定する新しい手法を提案する。
我々は、(L2)、(Linfty)の有限サンプル境界や、係数の正則性に適応する学習率を持つリスクメトリクスを含む、強力な理論的保証を提供する。
当社のメソッドはオープンソースPythonライブラリとして利用可能です。
論文 参考訳（メタデータ） (2024-11-04T11:09:58Z) - Deep multitask neural networks for solving some stochastic optimal
control problems [0.0]
本稿では,最適制御問題のクラスについて考察し,ニューラルネットワークを用いた効果的な解法を提案する。
マルチタスクニューラルネットワークをトレーニングするために,タスク間の学習を動的にバランスさせる新しいスキームを導入する。
実世界のデリバティブ価格問題に関する数値実験を通じて,本手法が最先端の手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-01-23T17:20:48Z) - Solving the Discretised Multiphase Flow Equations with Interface
Capturing on Structured Grids Using Machine Learning Libraries [0.6299766708197884]
本稿では,機械学習ライブラリのツールと手法を用いて,離散化した多相流方程式を解く。
はじめて、(訓練されていない)畳み込みニューラルネットワークに基づくアプローチを用いて、多相流の有限要素判別を解くことができる。
論文 参考訳（メタデータ） (2024-01-12T18:42:42Z) - Hierarchical deep learning-based adaptive time-stepping scheme for
multiscale simulations [0.0]
本研究では,ディープニューラルネットワークを用いたマルチスケール問題のシミュレーション手法を提案する。
ニューラルネットワークのタイムステッパーの階層的学習を活用することで、タイムスケールにわたる動的システムフローマップの近似に時間ステップを適用する。
このアプローチは、固定ステップニューラルネットワークソルバと比較して計算時間が少なくて最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-11-10T09:47:58Z) - Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳（メタデータ） (2023-09-03T16:35:59Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - Deep-learning-based upscaling method for geologic models via
theory-guided convolutional neural network [0.0]
油圧電界の粗い格子と油圧ヘッドの関係を近似するために、深部畳み込みニューラルネットワーク(CNN)を訓練する。
物理情報を考慮すると、深部CNNモデルのトレーニングデータ量への依存を大幅に低減することができる。
論文 参考訳（メタデータ） (2021-12-31T08:10:48Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。