論文の概要: Learning features from Newton's algorithm: a way to accelerate nonlinear parametrized PDE solvers

• arxiv url: http://arxiv.org/abs/2607.28036v1
• Date: Thu, 30 Jul 2026 11:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.524478
• Title: Learning features from Newton's algorithm: a way to accelerate nonlinear parametrized PDE solvers
• Title（参考訳）: ニュートンアルゴリズムからの学習特徴:非線形パラメタライズPDEソルバの高速化
• Abstract要約: ニュートンの法則は、最初の推測が非線形方程式系の根に近づくとより早く収束することが知られている。 本稿では、パラメータ空間サンプリングと事前計算された解のデータベースから特徴を学習することで、2段階のニュートン初期推定戦略を提案する。
• 参考スコア（独自算出の注目度）: 1.5749416770494706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well known that Newton's method converges faster when the initial guess is closer to a root of a system of nonlinear equations. In this paper, a two-stage Newton initial guess strategy is proposed by learning features from a parameter-space sampling and a database of precomputed solutions. The method uses discrete Newton trajectories to construct two complementary reduced spaces: a solution feature space, built from converged states, and a corrective search direction feature space, built from intermediate Newton increments. For an unseen parameter, a regression model is used to predict a surrogate solution approximation. Then, in a second step, a residual-minimizing correction is computed using a dedicated GMRES-based approach. The resulting state is then used as an initial guess for the high-fidelity Newton method, which completes convergence. The corrective step is computationally inexpensive since it only requires residual evaluations and the solution of a small least-squares problem. The methodology is weakly intrusive once the high-fidelity residual fields and a script-based programming interface are available. This strategy reduces the number of Newton iterations and decreases the overall CPU time. Numerical experiments on representative PDE problems show quantifiable speedups compared with standalone surrogate initialization. Significant speedups are observed. This generic approach can be applied to a broad class of large-scale nonlinear problems.
• Abstract（参考訳）: ニュートンの法則は、最初の推測が非線形方程式系の根に近づくとより早く収束することが知られている。 本稿では、パラメータ空間サンプリングと事前計算された解のデータベースから特徴を学習することで、2段階のニュートン初期推定戦略を提案する。 この方法では、離散ニュートン軌道を用いて、収束状態から構築された解特徴空間と、中間ニュートン増分から構築された補正探索方向特徴空間の2つの相補的縮小空間を構築する。 未知のパラメータに対しては、回帰モデルを用いて代理解近似を予測する。 そして、2番目のステップでは、専用のGMRESベースのアプローチを用いて残差最小化補正を算出する。 結果として得られる状態は、収束を完了させる高忠実なニュートン法の初期推定として使われる。 補正ステップは、最小二乗問題の残差評価と解しか必要としないため、計算的に安価である。 この手法は、高忠実度残差フィールドとスクリプトベースのプログラミングインタフェースが利用可能になると、弱い侵入性を持つ。 この戦略はニュートンのイテレーション数を減らし、CPU全体の時間を短縮する。 代表的PDE問題の数値実験は、スタンドアローンのサロゲート初期化と比較して定量的なスピードアップを示す。 重要なスピードアップが観察される。 この一般的なアプローチは、大規模非線形問題の幅広いクラスに適用できる。

関連論文リスト

• Frugality in second-order optimization: floating-point approximations for Newton's method [4.04818342174938]
  この研究はニュートンステップに対する有限精度算術の影響を分析する。 これは混合精度ニュートンに対する収束定理を確立し、「準」変種と「非コンパクト」変種を含む。 また、二階微分の部分計算を可能にする一般化されたガウスニュートン法であるGN_kを導入している。
  論文  参考訳（メタデータ） (2025-11-20T21:05:45Z)
• Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization [0.5120567378386615]
  アダムやアダグラッドのような一階降下や他の一階変種は、ディープラーニングの分野で一般的に使われている。 しかし、これらの手法は曲率情報を活用しない。 準ニュートン法は、以前計算された低ヘッセン近似を再利用する。
  論文  参考訳（メタデータ） (2025-02-17T20:20:11Z)
• Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization [11.56128809794923]
  本稿では,可微分損失関数と非滑らか正規化関数の和を最小化する新しいハイブリッドアルゴリズムを提案する。 臨界点へのグローバル収束を証明し、適切な条件下では、アルゴリズムが既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-24T12:15:59Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Convex Relaxations of ReLU Neural Networks Approximate Global Optima in Polynomial Time [45.72323731094864]
  本稿では,2層ReLULUネットワーク間における重み減衰と凸緩和の最適性ギャップについて検討する。 私たちの研究は、なぜローカルメソッドがうまく機能するのかを理解することに新たな光を当てています。
  論文  参考訳（メタデータ） (2024-02-06T01:29:35Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Hessian Averaging in Stochastic Newton Methods Achieves Superlinear Convergence [69.65563161962245]
  ニュートン法を用いて,滑らかで強凸な目的関数を考える。 最適段階において局所収束に遷移する普遍重み付き平均化スキームが存在することを示す。
  論文  参考訳（メタデータ） (2022-04-20T07:14:21Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• On Newton Screening [14.040371216692645]
  我々はNewton Screening (NS) と呼ばれる新しいスクリーニング手法を開発した。 NSは、一段階局所収束を達成するという意味で、最適収束特性を有することを示す。
  論文  参考訳（メタデータ） (2020-01-27T11:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。