論文の概要: Regularized dynamical parametric approximation of stiff evolution problems
- arxiv url: http://arxiv.org/abs/2501.12118v1
- Date: Tue, 21 Jan 2025 13:29:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-22 14:19:29.730510
- Title: Regularized dynamical parametric approximation of stiff evolution problems
- Title（参考訳）: 剛性進化問題の正規化動的パラメトリック近似
- Authors: Christian Lubich, Jörg Nick,
- Abstract要約: 非線形パラメトリゼーションのクラスを$ u(t) = Phi(theta(t)) $ で調べ、進化パラメータ $theta(t)$ を計算する。
主な焦点は、固い進化問題と不規則なパラメトリゼーションの組み合わせによって生じる課題に対処することである。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Evolutionary deep neural networks have emerged as a rapidly growing field of research. This paper studies numerical integrators for such and other classes of nonlinear parametrizations $ u(t) = \Phi(\theta(t)) $, where the evolving parameters $\theta(t)$ are to be computed. The primary focus is on tackling the challenges posed by the combination of stiff evolution problems and irregular parametrizations, which typically arise with neural networks, tensor networks, flocks of evolving Gaussians, and in further cases of overparametrization. We propose and analyse regularized parametric versions of the implicit Euler method and higher-order implicit Runge--Kutta methods for the time integration of the parameters in nonlinear approximations to evolutionary partial differential equations and large systems of stiff ordinary differential equations. At each time step, an ill-conditioned nonlinear optimization problem is solved approximately with a few regularized Gauss--Newton iterations. Error bounds for the resulting parametric integrator are derived by relating the computationally accessible Gauss--Newton iteration for the parameters to the computationally inaccessible Newton iteration for the underlying non-parametric time integration scheme. The theoretical findings are supported by numerical experiments that are designed to show key properties of the proposed parametric integrators.
- Abstract（参考訳）: 進化的なディープ・ニューラル・ネットワークは、急速に成長する研究分野として現れている。
本稿では、そのような非線形パラメトリゼーションのクラスおよびその他のクラスに対する数値積分子について研究する: $ u(t) = \Phi(\theta(t)) $, ここでは進化パラメータ $\theta(t)$ が計算される。
主な焦点は、固い進化問題と不規則なパラメトリゼーションの組み合わせによって生じる課題に対処することである。
進化的偏微分方程式と剛性常微分方程式の大規模系に対する非線形近似におけるパラメータの時間積分について、暗黙オイラー法と高次暗示ルンゲ-クッタ法の正規化パラメトリックバージョンを提案し、解析する。
各時間ステップにおいて、数個の正規化されたガウス-ニュートンの繰り返しで、不条件の非線形最適化問題を解く。結果のパラメトリック積分器の誤差境界は、計算的にアクセス可能なガウス-ニュートンの反復と、基礎となる非パラメトリック時間積分スキームに対する計算的にアクセスできないニュートンの反復とを関連付けて導かれる。
この理論的な知見は,提案したパラメトリック積分器の重要な特性を示す数値実験によって裏付けられる。
関連論文リスト
- Neural Control Variates with Automatic Integration [49.91408797261987]
本稿では,任意のニューラルネットワークアーキテクチャから学習可能なパラメトリック制御関数を構築するための新しい手法を提案する。
我々はこのネットワークを用いて積分器の反微分を近似する。
我々はウォーク・オン・スフィア・アルゴリズムを用いて偏微分方程式を解くために本手法を適用した。
論文 参考訳（メタデータ） (2024-09-23T06:04:28Z) - A Structure-Guided Gauss-Newton Method for Shallow ReLU Neural Network [18.06366638807982]
浅いReLUニューラルネットワークを用いて最小二乗問題を解くための構造誘導型ガウスニュートン法(SgGN)を提案する。
目的関数の最小二乗構造とニューラルネットワーク構造の両方を効果的に活用する。
論文 参考訳（メタデータ） (2024-04-07T20:24:44Z) - Gradient-based bilevel optimization for multi-penalty Ridge regression
through matrix differential calculus [0.46040036610482665]
我々は,l2-正則化を用いた線形回帰問題に対する勾配に基づくアプローチを導入する。
提案手法はLASSO, Ridge, Elastic Netレグレッションよりも優れていることを示す。
勾配の解析は、自動微分と比較して計算時間の観点からより効率的であることが証明されている。
論文 参考訳（メタデータ） (2023-11-23T20:03:51Z) - Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。
鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
論文 参考訳（メタデータ） (2023-05-24T20:43:47Z) - Direct Estimation of Parameters in ODE Models Using WENDy: Weak-form
Estimation of Nonlinear Dynamics [0.0]
ODE の非線形システムに対するモデルパラメータを推定する Weak-form Estimation of Dynamics (WENDy) 手法を提案する。
WENDyは正確な推定値を計算し、大きな(生物学的に関係のある)測定ノイズに対して堅牢である。
個体群生物学,神経科学,生化学の共通モデルにおいて,WENDyを用いてパラメータを推定することにより,高いロバスト性と計算効率を示す。
論文 参考訳（メタデータ） (2023-02-26T08:49:34Z) - Moment Estimation for Nonparametric Mixture Models Through Implicit
Tensor Decomposition [7.139680863764187]
条件に依存しない混合モデルを$mathbbRn$で推定するために,最小二乗法を交互に最適化する手法を提案する。
線形解を用いて、累積分布関数、高次モーメント、その他の成分分布の統計値を計算する。
数値実験は、アルゴリズムの競合性能と、多くのモデルや応用への適用性を実証する。
論文 参考訳（メタデータ） (2022-10-25T23:31:33Z) - Numerical Solution of Stiff Ordinary Differential Equations with Random
Projection Neural Networks [0.0]
正規微分方程式(ODE)の解に対する乱射影ニューラルネットワーク(RPNN)に基づく数値スキームを提案する。
提案手法は剛性の影響を受けずに高い数値近似精度を示し,textttode45 と textttode15s の関数よりも優れていた。
論文 参考訳（メタデータ） (2021-08-03T15:49:17Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Understanding Implicit Regularization in Over-Parameterized Single Index
Model [55.41685740015095]
我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。
暗黙正則化現象の理論的保証を提供する。
論文 参考訳（メタデータ） (2020-07-16T13:27:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Neural Control Variates [71.42768823631918]
ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。
理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。
具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
論文 参考訳（メタデータ） (2020-06-02T11:17:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。