論文の概要: A Neural Network Ensemble Approach to System Identification
- arxiv url: http://arxiv.org/abs/2110.08382v1
- Date: Fri, 15 Oct 2021 21:45:48 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:32:16.241975
- Title: A Neural Network Ensemble Approach to System Identification
- Title（参考訳）: システム同定のためのニューラルネットワークアンサンブルアプローチ
- Authors: Elisa Negrini, Giovanna Citti, Luca Capogna
- Abstract要約: 軌道データから未知の制御方程式を学習するための新しいアルゴリズムを提案する。
ニューラルネットワークのアンサンブルを用いて関数の$f$を近似する。
- 参考スコア（独自算出の注目度）: 0.6445605125467573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a new algorithm for learning unknown governing equations from
trajectory data, using and ensemble of neural networks. Given samples of
solutions $x(t)$ to an unknown dynamical system $\dot{x}(t)=f(t,x(t))$, we
approximate the function $f$ using an ensemble of neural networks. We express
the equation in integral form and use Euler method to predict the solution at
every successive time step using at each iteration a different neural network
as a prior for $f$. This procedure yields M-1 time-independent networks, where
M is the number of time steps at which $x(t)$ is observed. Finally, we obtain a
single function $f(t,x(t))$ by neural network interpolation. Unlike our earlier
work, where we numerically computed the derivatives of data, and used them as
target in a Lipschitz regularized neural network to approximate $f$, our new
method avoids numerical differentiations, which are unstable in presence of
noise. We test the new algorithm on multiple examples both with and without
noise in the data. We empirically show that generalization and recovery of the
governing equation improve by adding a Lipschitz regularization term in our
loss function and that this method improves our previous one especially in
presence of noise, when numerical differentiation provides low quality target
data. Finally, we compare our results with the method proposed by Raissi, et
al. arXiv:1801.01236 (2018) and with SINDy.
- Abstract（参考訳）: 本稿では,ニューラルネットを用いた軌道データから未知の制御方程式を学習するための新しいアルゴリズムを提案する。
解のサンプル $x(t)$ を未知の力学系 $\dot{x}(t)=f(t,x(t))$ に与えると、ニューラルネットワークのアンサンブルを用いて関数 $f$ を近似する。
方程式を積分形式で表現し、Euler法を用いて、各反復で異なるニューラルネットワークを$f$の先行値として使用し、連続する時間ステップ毎に解を予測する。
この手順は M-1 の時間に依存しないネットワークをもたらし、M は $x(t)$ が観測される時間ステップの数である。
最後に、ニューラルネットワークの補間によって1つの関数$f(t,x(t))$を得る。
従来のデータデリバティブを数値計算し、リプシッツ正規化ニューラルネットワークのターゲットとして使用してf$を近似し、ノイズの存在下で不安定な数値微分を回避した。
データ内のノイズの有無に関わらず,複数のサンプルで新しいアルゴリズムをテストした。
本稿では,損失関数にリプシッツ正規化項を付加することにより,制御方程式の一般化と回復が向上し,特にノイズの存在下では,数値微分が低品質な目標データを提供する場合,前者を改善することを実証的に示す。
最後に,Raissi, et al. arXiv:1801.01236 (2018) と SINDy とを比較した。
関連論文リスト
- Solving multiscale elliptic problems by sparse radial basis function
neural networks [3.5297361401370044]
楕円偏微分方程式 (PDE) を多スケール係数で解くために, スパースラジアル基底関数ニューラルネットワーク法を提案する。
深層混合残差法に着想を得て,2次問題を1次システムに書き換え,複数の放射基底関数ニューラルネットワーク(RBFNN)を用いて未知の関数を近似する。
提案手法の精度と有効性は,1次元から3次元までのスケール分離,不連続性,複数スケールのマルチスケール問題の集合を通して実証される。
論文 参考訳（メタデータ） (2023-09-01T15:11:34Z) - Generalization and Stability of Interpolating Neural Networks with
Minimal Width [37.908159361149835]
補間系における勾配によって訓練された浅層ニューラルネットワークの一般化と最適化について検討する。
トレーニング損失数は$m=Omega(log4 (n))$ニューロンとニューロンを最小化する。
m=Omega(log4 (n))$のニューロンと$Tapprox n$で、テスト損失のトレーニングを$tildeO (1/)$に制限します。
論文 参考訳（メタデータ） (2023-02-18T05:06:15Z) - Training Overparametrized Neural Networks in Sublinear Time [14.918404733024332]
ディープラーニングには膨大な計算とエネルギーのコストが伴う。
探索木の小さな部分集合として、二分ニューラルネットワークの新しいサブセットを示し、それぞれが探索木のサブセット(Ds)に対応する。
我々はこの見解が深層ネットワーク(Ds)の分析解析にさらに応用できると考えている。
論文 参考訳（メタデータ） (2022-08-09T02:29:42Z) - Bounding the Width of Neural Networks via Coupled Initialization -- A
Worst Case Analysis [121.9821494461427]
2層ReLUネットワークに必要なニューロン数を著しく削減する方法を示す。
また、事前の作業を改善するための新しい下位境界を証明し、ある仮定の下では、最善を尽くすことができることを証明します。
論文 参考訳（メタデータ） (2022-06-26T06:51:31Z) - An application of the splitting-up method for the computation of a
neural network representation for the solution for the filtering equations [68.8204255655161]
フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。
フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。
我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
論文 参考訳（メタデータ） (2022-01-10T11:01:36Z) - Estimating Vector Fields from Noisy Time Series [6.939768185086753]
一次元神経形状関数のテンソル積からなるニューラルネットワークアーキテクチャについて述べる。
ニューラルネットワークの近似特性はニューラル形状関数アーキテクチャで維持されている。
また、我々のニューラル形状関数法と既存の微分方程式学習法を交互に最小化と複数軌跡に組み合わせて検討した。
論文 参考訳（メタデータ） (2020-12-06T07:27:56Z) - System Identification Through Lipschitz Regularized Deep Neural Networks [0.4297070083645048]
ニューラルネットワークを使って、データから支配方程式を学習します。
我々は、観測されたタイムスタンプデータから直接、ODEs $dotx(t) = f(t, x(t))$の右辺を再構築する。
論文 参考訳（メタデータ） (2020-09-07T17:52:51Z) - Shuffling Recurrent Neural Networks [97.72614340294547]
隠れ状態 $h_t$ を以前の隠れ状態 $h_t-1$ のベクトル要素を置換することにより、隠れ状態 $h_t$ が得られる新しいリカレントニューラルネットワークモデルを提案する。
私たちのモデルでは、予測は第2の学習関数によって与えられ、隠された状態 $s(h_t)$ に適用されます。
論文 参考訳（メタデータ） (2020-07-14T19:36:10Z) - Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。
過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
論文 参考訳（メタデータ） (2020-07-09T07:09:28Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Complexity of Finding Stationary Points of Nonsmooth Nonconvex Functions [84.49087114959872]
非滑らかで非滑らかな関数の定常点を見つけるための最初の非漸近解析を提供する。
特に、アダマール半微分可能函数(おそらく非滑らか関数の最大のクラス)について研究する。
論文 参考訳（メタデータ） (2020-02-10T23:23:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。