論文の概要: Learning via nonlinear conjugate gradients and depth-varying neural ODEs
- arxiv url: http://arxiv.org/abs/2202.05766v1
- Date: Fri, 11 Feb 2022 17:00:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-14 16:38:00.289379
- Title: Learning via nonlinear conjugate gradients and depth-varying neural ODEs
- Title（参考訳）: 非線形共役勾配と深度変動ニューラルネットワークによる学習
- Authors: George Baravdish, Gabriel Eilertsen, Rym Jaroudi, B. Tomas Johansson,
Luk\'a\v{s} Mal\'y and Jonas Unger
- Abstract要約: ニューラル常微分方程式(NODE)における深度可変パラメータの教師付き再構成の逆問題について考察する。
提案したパラメータ再構成は,コスト関数の最小化による一般一階微分方程式に対して行われる。
感度問題は、トレーニングされたパラメータの摂動下でのネットワーク出力の変化を推定することができる。
- 参考スコア（独自算出の注目度）: 5.565364597145568
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The inverse problem of supervised reconstruction of depth-variable
(time-dependent) parameters in a neural ordinary differential equation (NODE)
is considered, that means finding the weights of a residual network with time
continuous layers. The NODE is treated as an isolated entity describing the
full network as opposed to earlier research, which embedded it between pre- and
post-appended layers trained by conventional methods. The proposed parameter
reconstruction is done for a general first order differential equation by
minimizing a cost functional covering a variety of loss functions and penalty
terms. A nonlinear conjugate gradient method (NCG) is derived for the
minimization. Mathematical properties are stated for the differential equation
and the cost functional. The adjoint problem needed is derived together with a
sensitivity problem. The sensitivity problem can estimate changes in the
network output under perturbation of the trained parameters. To preserve
smoothness during the iterations the Sobolev gradient is calculated and
incorporated. As a proof-of-concept, numerical results are included for a NODE
and two synthetic datasets, and compared with standard gradient approaches (not
based on NODEs). The results show that the proposed method works well for deep
learning with infinite numbers of layers, and has built-in stability and
smoothness.
- Abstract（参考訳）: ニューラル常微分方程式(NODE)における深度可変(時間依存)パラメータの教師付き再構成の逆問題として,時間連続層をもつ残留ネットワークの重みを求めることが挙げられる。
ノードは、以前の研究とは対照的に、完全なネットワークを記述する独立したエンティティとして扱われる。
種々の損失関数とペナルティ項をカバーするコスト関数を最小化することにより,一般一階微分方程式に対してパラメータ再構成を行う。
最小化のために非線形共役勾配法(NCG)が導出される。
数学的性質は微分方程式とコスト汎関数に対して記述される。
必要な随伴問題は感度問題とともに導出される。
感度問題は、トレーニングされたパラメータの摂動下でのネットワーク出力の変化を推定することができる。
イテレーション中の滑らかさを維持するために、ソボレフ勾配を計算して組み込む。
概念実証として、NODEと2つの合成データセットに数値結果を含め、(NODEをベースとしない)標準勾配アプローチと比較する。
その結果,本手法は無限層の深層学習に有効であり,安定性と滑らか性が組み込まれていることがわかった。
関連論文リスト
- A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。
本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。
その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
論文 参考訳（メタデータ） (2024-11-09T20:39:10Z) - FEM-based Neural Networks for Solving Incompressible Fluid Flows and Related Inverse Problems [41.94295877935867]
偏微分方程式で記述された技術システムの数値シミュレーションと最適化は高価である。
この文脈で比較的新しいアプローチは、ニューラルネットワークの優れた近似特性と古典的有限要素法を組み合わせることである。
本稿では, この手法を, サドルポイント問題と非線形流体力学問題に拡張する。
論文 参考訳（メタデータ） (2024-09-06T07:17:01Z) - A Nonoverlapping Domain Decomposition Method for Extreme Learning Machines: Elliptic Problems [0.0]
エクストリーム・ラーニング・マシン(ELM)は、単一層フィードフォワードニューラルネットワークを用いて偏微分方程式(PDE)を解く手法である。
本稿では,EMMのトレーニング時間を短縮するだけでなく,並列計算にも適する非重複領域分解法(DDM)を提案する。
論文 参考訳（メタデータ） (2024-06-22T23:25:54Z) - Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。
DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
論文 参考訳（メタデータ） (2023-02-07T10:51:53Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - Improved Overparametrization Bounds for Global Convergence of Stochastic
Gradient Descent for Shallow Neural Networks [1.14219428942199]
本研究では,1つの隠れ層フィードフォワードニューラルネットワークのクラスに対して,勾配降下アルゴリズムのグローバル収束に必要な過パラメトリゼーション境界について検討する。
論文 参考訳（メタデータ） (2022-01-28T11:30:06Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - Cogradient Descent for Dependable Learning [64.02052988844301]
双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。
CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。
また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
論文 参考訳（メタデータ） (2021-06-20T04:28:20Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Cogradient Descent for Bilinear Optimization [124.45816011848096]
双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。
一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。
本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
論文 参考訳（メタデータ） (2020-06-16T13:41:54Z) - Solving inverse-PDE problems with physics-aware neural networks [0.0]
偏微分方程式の逆問題における未知の場を見つけるための新しい枠組みを提案する。
我々は,ディープニューラルネットワークの高表現性を,既存の数値アルゴリズムの精度と信頼性とを融合した普遍関数推定器とする。
論文 参考訳（メタデータ） (2020-01-10T18:46:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。