論文の概要: Unsupervised Reservoir Computing for Solving Ordinary Differential Equations

• arxiv url: http://arxiv.org/abs/2108.11417v1
• Date: Wed, 25 Aug 2021 18:16:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-27 13:51:42.823369
• Title: Unsupervised Reservoir Computing for Solving Ordinary Differential Equations
• Title（参考訳）: 常微分方程式を解くための教師なし貯水池計算
• Authors: Marios Mattheakis, Hayden Joy, Pavlos Protopapas
• Abstract要約: 通常の微分方程式(ODE)を満たす近似解を発見することができるエコー状態のリカレントニューラルネットワーク ベイジアン最適化を用いて高次元ハイパーパラメータ空間における最適集合を効率よく発見し、1つの集合がロバストであり、異なる初期条件と時間範囲のODEを解くことができることを示す。
• 参考スコア（独自算出の注目度）: 1.6371837018687636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There is a wave of interest in using unsupervised neural networks for solving differential equations. The existing methods are based on feed-forward networks, {while} recurrent neural network differential equation solvers have not yet been reported. We introduce an unsupervised reservoir computing (RC), an echo-state recurrent neural network capable of discovering approximate solutions that satisfy ordinary differential equations (ODEs). We suggest an approach to calculate time derivatives of recurrent neural network outputs without using backpropagation. The internal weights of an RC are fixed, while only a linear output layer is trained, yielding efficient training. However, RC performance strongly depends on finding the optimal hyper-parameters, which is a computationally expensive process. We use Bayesian optimization to efficiently discover optimal sets in a high-dimensional hyper-parameter space and numerically show that one set is robust and can be used to solve an ODE for different initial conditions and time ranges. A closed-form formula for the optimal output weights is derived to solve first order linear equations in a backpropagation-free learning process. We extend the RC approach by solving nonlinear system of ODEs using a hybrid optimization method consisting of gradient descent and Bayesian optimization. Evaluation of linear and nonlinear systems of equations demonstrates the efficiency of the RC ODE solver.
• Abstract（参考訳）: 微分方程式を解くために教師なしニューラルネットワークを使うことに関心がある。 既存の手法はフィードフォワードネットワークに基づいているが,ニューラルネットワーク微分方程式解法はまだ報告されていない。 我々は,通常の微分方程式 (odes) を満たす近似解を探索可能な,エコー状態再帰型ニューラルネットワークであるunsupervised reservoir computing (rc)を提案する。 バックプロパゲーションを使わずにリカレントニューラルネットワーク出力の時間微分を計算する手法を提案する。 RCの内部重量は固定され、線形出力層のみが訓練され、効率よく訓練される。 しかし、RC性能は計算に高価なプロセスである最適ハイパーパラメータの発見に強く依存する。 我々はベイジアン最適化を用いて高次元ハイパーパラメータ空間における最適集合を効率的に発見し、1つの集合がロバストであり、異なる初期条件と時間範囲のODEを解くために使用できることを示す。 最適出力重みの閉形式式を導出し、バックプロパゲーションフリー学習プロセスにおいて一階線形方程式を解く。 我々は,勾配降下とベイズ最適化を組み合わせたハイブリッド最適化法を用いて,ODEの非線形系を解くことでRC手法を拡張した。 方程式の線形系および非線形系の評価は、RCODEソルバの効率を示す。

関連論文リスト

• A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations [9.588717577573684]
  偏微分方程式(PDE)を解くためのスケーラブルな事前条件付き原始ハイブリッド勾配アルゴリズムを提案する。 本稿では,提案手法の性能を,一般的なディープラーニングアルゴリズムと比較する。 その結果,提案手法は効率的かつ堅牢に動作し,安定に収束することが示唆された。
  論文  参考訳（メタデータ） (2024-11-09T20:39:10Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Constrained Optimization via Exact Augmented Lagrangian and Randomized Iterative Sketching [55.28394191394675]
  等式制約付き非線形非IBS最適化問題に対する適応的不正確なニュートン法を開発した。 ベンチマーク非線形問題,LVMのデータによる制約付きロジスティック回帰,PDE制約問題において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-28T06:33:37Z)
• OKRidge: Scalable Optimal k-Sparse Ridge Regression [21.17964202317435]
  スパースリッジ回帰のための高速アルゴリズムOKRidgeを提案する。 また,ビームサーチを利用した解法を温める方法を提案する。
  論文  参考訳（メタデータ） (2023-04-13T17:34:44Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• Deep neural network for solving differential equations motivated by Legendre-Galerkin approximation [16.64525769134209]
  線形微分方程式と非線形微分方程式の両方における様々なニューラルネットワークアーキテクチャの性能と精度について検討する。 我々は、微分方程式の解を予測するために、新しいレジェンダ-ガレルキンディープニューラルネットワーク(LGNet)アルゴリズムを実装した。
  論文  参考訳（メタデータ） (2020-10-24T20:25:09Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)
• Enhancement of shock-capturing methods via machine learning [0.0]
  我々は不連続解を用いてPDEをシミュレートするための改良された有限体積法を開発した。 5階WENO法の結果を改善するためにニューラルネットワークを訓練する。 数値解が過度に拡散するシミュレーションにおいて,本手法はWENOよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-02-06T21:51:39Z)
• Channel Assignment in Uplink Wireless Communication using Machine Learning Approach [54.012791474906514]
  本稿では,アップリンク無線通信システムにおけるチャネル割り当て問題について検討する。 我々の目標は、整数チャネル割り当て制約を受ける全ユーザの総和率を最大化することです。 計算複雑性が高いため、機械学習アプローチは計算効率のよい解を得るために用いられる。
  論文  参考訳（メタデータ） (2020-01-12T15:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。