論文の概要: Variational formulations of ODE-Net as a mean-field optimal control
problem and existence results
- arxiv url: http://arxiv.org/abs/2303.05924v1
- Date: Thu, 9 Mar 2023 00:47:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-13 14:52:53.711496
- Title: Variational formulations of ODE-Net as a mean-field optimal control
problem and existence results
- Title（参考訳）: 平均場最適制御問題としてのODE-Netの変分定式化とその存在結果
- Authors: Noboru Isobe, Mizuho Okumura
- Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の連続体モデルであるODE-Netの数学的解析について述べる。
近年、機械学習の研究者たちは、DNNの深い構造をODEに置き換えるアイデアを連続的な制限として導入している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a mathematical analysis of ODE-Net, a continuum model of
deep neural networks (DNNs). In recent years, Machine Learning researchers have
introduced ideas of replacing the deep structure of DNNs with ODEs as a
continuum limit. These studies regard the "learning" of ODE-Net as the
minimization of a "loss" constrained by a parametric ODE. Although the
existence of a minimizer for this minimization problem needs to be assumed,
only a few studies have investigated its existence analytically in detail. In
the present paper, the existence of a minimizer is discussed based on a
formulation of ODE-Net as a measure-theoretic mean-field optimal control
problem. The existence result is proved when a neural network, which describes
a vector field of ODE-Net, is linear with respect to learnable parameters. The
proof employs the measure-theoretic formulation combined with the direct method
of Calculus of Variations. Secondly, an idealized minimization problem is
proposed to remove the above linearity assumption. Such a problem is inspired
by a kinetic regularization associated with the Benamou--Brenier formula and
universal approximation theorems for neural networks. The proofs of these
existence results use variational methods, differential equations, and
mean-field optimal control theory. They will stand for a new analytic way to
investigate the learning process of deep neural networks.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)の連続体モデルであるODE-Netの数学的解析を行う。
近年、機械学習の研究者たちは、DNNの深い構造をODEに置き換えるアイデアを連続的な制限として導入している。
これらの研究は、ODE-Netの「学習」をパラメトリックODEによって制約された「ロス」の最小化とみなしている。
この最小化問題に対する最小化器の存在を仮定する必要があるが、その存在を詳細に分析する研究はごくわずかである。
本稿では,量論的平均場最適制御問題としてODE-Netの定式化に基づいて,最小化器の存在について論じる。
ODE-Netのベクトル場を記述するニューラルネットワークが学習可能なパラメータに対して線形である場合、その存在が証明される。
この証明は測度理論の定式化と変分計算の直接的な方法を組み合わせたものである。
次に、上述の線形性仮定を取り除くために、理想化最小化問題を提案する。
このような問題は、ベナモ-ブレーニエの公式とニューラルネットワークの普遍近似定理に付随する運動正則化にインスパイアされている。
これらの存在の証明は変分法、微分方程式、平均場最適制御理論を用いる。
彼らは、ディープニューラルネットワークの学習過程を研究するための、新しい分析方法を模索する。
関連論文リスト
- Learning Neural Constitutive Laws From Motion Observations for
Generalizable PDE Dynamics [97.38308257547186]
多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。
PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。
そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
論文 参考訳（メタデータ） (2023-04-27T17:42:24Z) - Implementation and (Inverse Modified) Error Analysis for
implicitly-templated ODE-nets [0.0]
我々は,暗黙的な数値初期値問題解法に基づいてテンプレート化されたODE-netを用いてデータから未知のダイナミクスを学習することに焦点を当てた。
我々は,非ロール型暗黙的スキームを用いて,ODE-netの逆修正誤り解析を行い,解釈を容易にする。
我々は,誤差のレベルを監視し,暗黙的な解反復数に適応する適応アルゴリズムを定式化する。
論文 参考訳（メタデータ） (2023-03-31T06:47:02Z) - Experimental study of Neural ODE training with adaptive solver for
dynamical systems modeling [72.84259710412293]
アダプティブと呼ばれるいくつかのODEソルバは、目の前の問題の複雑さに応じて評価戦略を適用することができる。
本稿では,動的システムモデリングのためのブラックボックスとして適応型ソルバをシームレスに利用できない理由を示すための簡単な実験について述べる。
論文 参考訳（メタデータ） (2022-11-13T17:48:04Z) - Evaluating Error Bound for Physics-Informed Neural Networks on Linear
Dynamical Systems [1.2891210250935146]
本稿では、微分方程式の線形系のクラスで訓練された物理インフォームドニューラルネットワークに対して、数学的に明示的な誤差境界を導出できることを示す。
我々の研究は、損失関数として知られ、使われているネットワーク残基と、一般には知られていない解の絶対誤差とのリンクを示す。
論文 参考訳（メタデータ） (2022-07-03T20:23:43Z) - Solving PDEs on Unknown Manifolds with Machine Learning [8.220217498103315]
本稿では,未知多様体上の楕円型PDEを解くためのメッシュフリー計算フレームワークと機械学習理論を提案する。
提案したNNソルバは,新しいデータポイント上の一般化とほぼ同一の誤差を持つ新しいデータポイント上でPDEを強固に一般化できることを示す。
論文 参考訳（メタデータ） (2021-06-12T03:55:15Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z) - Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。
解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
論文 参考訳（メタデータ） (2021-03-15T17:26:34Z) - ResNet After All? Neural ODEs and Their Numerical Solution [28.954378025052925]
訓練されたニューラル正規微分方程式モデルは、実際にトレーニング中に使用される特定の数値法に依存していることを示す。
本稿では,ODEソルバの動作を学習中に監視し,ステップサイズを適応させる手法を提案する。
論文 参考訳（メタデータ） (2020-07-30T11:24:05Z) - Unsupervised Learning of Solutions to Differential Equations with
Generative Adversarial Networks [1.1470070927586016]
本研究では,教師なしニューラルネットワークを用いた微分方程式の解法を開発した。
差分方程式GAN (DEQGAN) と呼ばれる手法は, 平均二乗誤差を桁違いに低減できることを示す。
論文 参考訳（メタデータ） (2020-07-21T23:36:36Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。