論文の概要: Bilevel optimization for learning hyperparameters: Application to solving PDEs and inverse problems with Gaussian processes

• arxiv url: http://arxiv.org/abs/2510.05568v1
• Date: Tue, 07 Oct 2025 04:22:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.096156
• Title: Bilevel optimization for learning hyperparameters: Application to solving PDEs and inverse problems with Gaussian processes
• Title（参考訳）: ハイパーパラメータ学習のための双レベル最適化:PDEの解法とガウス過程による逆問題への応用
• Authors: Nicholas H. Nelsen, Houman Owhadi, Andrew M. Stuart, Xianjin Yang, Zongren Zou,
• Abstract要約: カーネルとニューラルネットワークによる偏微分方程式(PDE)、逆問題、教師付き学習タスクに対するアプローチは、ハイパーパラメータの選択に大きく依存する。 本稿では,内部最適化ステップのガウス・ニュートン線形化を用いて,両レベルフレームワーク内でのハイパーパラメータ最適化の効率的な手法を提案する。 当社のアプローチはクローズドフォームの更新を提供し、PDEの繰り返し解決の必要性を排除しています。
• 参考スコア（独自算出の注目度）: 4.197402763771375
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Methods for solving scientific computing and inference problems, such as kernel- and neural network-based approaches for partial differential equations (PDEs), inverse problems, and supervised learning tasks, depend crucially on the choice of hyperparameters. Specifically, the efficacy of such methods, and in particular their accuracy, stability, and generalization properties, strongly depends on the choice of hyperparameters. While bilevel optimization offers a principled framework for hyperparameter tuning, its nested optimization structure can be computationally demanding, especially in PDE-constrained contexts. In this paper, we propose an efficient strategy for hyperparameter optimization within the bilevel framework by employing a Gauss-Newton linearization of the inner optimization step. Our approach provides closed-form updates, eliminating the need for repeated costly PDE solves. As a result, each iteration of the outer loop reduces to a single linearized PDE solve, followed by explicit gradient-based hyperparameter updates. We demonstrate the effectiveness of the proposed method through Gaussian process models applied to nonlinear PDEs and to PDE inverse problems. Extensive numerical experiments highlight substantial improvements in accuracy and robustness compared to conventional random hyperparameter initialization. In particular, experiments with additive kernels and neural network-parameterized deep kernels demonstrate the method's scalability and effectiveness for high-dimensional hyperparameter optimization.
• Abstract（参考訳）: 偏微分方程式(PDE)、逆問題、教師付き学習タスクに対するカーネルおよびニューラルネットワークに基づくアプローチなどの科学計算および推論問題の解法は、ハイパーパラメータの選択に大きく依存する。 具体的には、これらの方法の有効性、特にその精度、安定性、一般化特性は、ハイパーパラメータの選択に強く依存する。 双レベル最適化は、ハイパーパラメータチューニングのための原則化されたフレームワークを提供するが、ネストされた最適化構造は、特にPDE制約のあるコンテキストにおいて、計算的に要求される。 本稿では、内部最適化ステップのガウス-ニュートン線形化を用いて、双レベルフレームワーク内でのハイパーパラメータ最適化の効率的な戦略を提案する。 当社のアプローチはクローズドフォームの更新を提供し、PDEの繰り返し解決の必要性を排除しています。 その結果、外ループの各イテレーションは1つの線形化PDE解に減少し、その後に明示的な勾配に基づくハイパーパラメータ更新が続く。 非線形PDEおよびPDE逆問題に適用したガウス過程モデルを用いて提案手法の有効性を示す。 大規模な数値実験では、従来のランダムなハイパーパラメータ初期化と比較して精度と頑健さが大幅に向上した。 特に、加法カーネルとニューラルネットワークパラメータ化ディープカーネルを用いた実験は、高次元ハイパーパラメータ最適化における手法のスケーラビリティと有効性を示している。

関連論文リスト

• Learning a Neural Solver for Parametric PDE to Enhance Physics-Informed Methods [14.791541465418263]
  データに基づいて訓練された物理インフォームド反復アルゴリズムを用いて偏微分方程式(PDE)の解法を学習することを提案する。 本手法は,各PDEインスタンスに自動的に適応する勾配降下アルゴリズムの条件付けを学習する。 複数のデータセットに対する経験的実験を通じて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-09T12:28:32Z)
• Enhancing Hypergradients Estimation: A Study of Preconditioning and Reparameterization [49.73341101297818]
  双レベル最適化は、内部最適化問題の解に依存する外的目的関数を最適化することを目的としている。 外部問題の過次性を計算する従来の方法は、Implicit Function Theorem (IFT) を使うことである。 IFT法の誤差について検討し,この誤差を低減するための2つの手法を解析した。
  論文  参考訳（メタデータ） (2024-02-26T17:09:18Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Bi-level Physics-Informed Neural Networks for PDE Constrained Optimization using Broyden's Hypergradients [29.487375792661005]
  PDE制約最適化問題を解決するための新しい二段階最適化フレームワークを提案する。 内部ループ最適化では、PDE制約のみを解決するためにPINNを採用する。 外部ループに対しては,Implicit関数定理に基づく Broyden'simat 法を用いて新しい手法を設計する。
  論文  参考訳（メタデータ） (2022-09-15T06:21:24Z)
• Implicit differentiation for fast hyperparameter selection in non-smooth convex learning [87.60600646105696]
  内部最適化問題が凸であるが非滑らかである場合の一階法を研究する。 本研究では, ヤコビアンの近位勾配降下と近位座標降下収率列の前方モード微分が, 正確なヤコビアンに向かって収束していることを示す。
  論文  参考訳（メタデータ） (2021-05-04T17:31:28Z)
• Speeding up Computational Morphogenesis with Online Neural Synthetic Gradients [51.42959998304931]
  現代科学および工学の適用の広い範囲は制約として部分的な微分方程式(PDEs)のシステムとの最適化問題として定式化されます。 これらのPDE制約最適化問題は通常、標準のDisretize-then-optimizeアプローチで解決される。 オンラインニューラル合成勾配(ONSG)を用いたPDE制約最適化の高速化のための新しい2スケール最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-04-25T22:43:51Z)
• Optimizing Large-Scale Hyperparameters via Automated Learning Algorithm [97.66038345864095]
  ゼロ階超勾配(HOZOG)を用いた新しいハイパーパラメータ最適化法を提案する。 具体的には、A型制約最適化問題として、まずハイパーパラメータ最適化を定式化する。 次に、平均ゼロ階超勾配を用いてハイパーパラメータを更新する。
  論文  参考訳（メタデータ） (2021-02-17T21:03:05Z)
• Proximal Gradient Algorithm with Momentum and Flexible Parameter Restart for Nonconvex Optimization [73.38702974136102]
  アルゴリズムの高速化のために,パラメータ再起動方式が提案されている。 本論文では,非滑らかな問題を解くアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-26T16:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。