論文の概要: On the Identification and Optimization of Nonsmooth Superposition
Operators in Semilinear Elliptic PDEs
- arxiv url: http://arxiv.org/abs/2306.05185v2
- Date: Fri, 2 Feb 2024 16:37:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 20:16:32.115624
- Title: On the Identification and Optimization of Nonsmooth Superposition
Operators in Semilinear Elliptic PDEs
- Title（参考訳）: 半線形楕円型PDEにおける非平滑重ね合わせ作用素の同定と最適化について
- Authors: Constantin Christof and Julia Kowalczyk
- Abstract要約: 原型半線形楕円偏微分方程式(PDE)の非線形部分におけるネミトスキー作用素の同定を目的とした無限次元最適化問題について検討する。
以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-priori であることは、$H leakyloc(mathbbR)$ の要素であることが知られている。
- 参考スコア（独自算出の注目度）: 3.045851438458641
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study an infinite-dimensional optimization problem that aims to identify
the Nemytskii operator in the nonlinear part of a prototypical semilinear
elliptic partial differential equation (PDE) which minimizes the distance
between the PDE-solution and a given desired state. In contrast to previous
works, we consider this identification problem in a low-regularity regime in
which the function inducing the Nemytskii operator is a-priori only known to be
an element of $H^1_{loc}(\mathbb{R})$. This makes the studied problem class a
suitable point of departure for the rigorous analysis of training problems for
learning-informed PDEs in which an unknown superposition operator is
approximated by means of a neural network with nonsmooth activation functions
(ReLU, leaky-ReLU, etc.). We establish that, despite the low regularity of the
controls, it is possible to derive a classical stationarity system for local
minimizers and to solve the considered problem by means of a gradient
projection method. The convergence of the resulting algorithm is proven in the
function space setting. It is also shown that the established first-order
necessary optimality conditions imply that locally optimal superposition
operators share various characteristic properties with commonly used activation
functions: They are always sigmoidal, continuously differentiable away from the
origin, and typically possess a distinct kink at zero. The paper concludes with
numerical experiments which confirm the theoretical findings.
- Abstract（参考訳）: 本研究では,pde解と与えられた所望の状態との間の距離を最小化する半線形楕円偏微分方程式(pde)の非線形部分におけるネミツキー作用素の同定を目的とした無限次元最適化問題について検討する。
以前の研究とは対照的に、ネミトスキー作用素を誘導する関数が a-プリオリであることは、$H^1_{loc}(\mathbb{R})$ の要素であることが知られている。
これにより、未知の重ね合わせ演算子を非平滑活性化機能を有するニューラルネットワーク(ReLU, leaky-ReLUなど)を用いて近似する学習インフォームドPDEの訓練問題を厳格に解析する上で、学習問題クラスを出発点として適当となる。
制御の規則性が低いにもかかわらず、局所最小化器の古典的定常性系を導出し、勾配投影法を用いて検討された問題を解くことができる。
結果のアルゴリズムの収束性は関数空間の設定で証明される。
また、確立された一階必要最適条件は、局所最適重ね合わせ演算子が、一般的に使用される活性化関数と様々な特性を共有していることを示している。
本論文は理論的知見を裏付ける数値実験によって結論づける。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Finite Operator Learning: Bridging Neural Operators and Numerical Methods for Efficient Parametric Solution and Optimization of PDEs [0.0]
本稿では,ニューラルネットワーク,物理情報処理機械学習,およびPDEを解くための標準的な数値法を組み合わせた手法を提案する。
データのない方法で偏微分方程式をパラメトリックに解き、正確な感度を与えることができる。
本研究では, 不均一材料中の定常熱方程式に着目した。
論文 参考訳（メタデータ） (2024-07-04T21:23:12Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳（メタデータ） (2023-10-20T12:45:12Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Learning via nonlinear conjugate gradients and depth-varying neural ODEs [5.565364597145568]
ニューラル常微分方程式(NODE)における深度可変パラメータの教師付き再構成の逆問題について考察する。
提案したパラメータ再構成は,コスト関数の最小化による一般一階微分方程式に対して行われる。
感度問題は、トレーニングされたパラメータの摂動下でのネットワーク出力の変化を推定することができる。
論文 参考訳（メタデータ） (2022-02-11T17:00:48Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - A proof of convergence for the gradient descent optimization method with
random initializations in the training of neural networks with ReLU
activation for piecewise linear target functions [3.198144010381572]
勾配降下(GD)型最適化法は、ニューラルネットワーク(ANN)を修正線形単位(ReLU)アクティベーションで訓練する標準的な手法である。
論文 参考訳（メタデータ） (2021-08-10T12:01:37Z) - An Operator-Splitting Method for the Gaussian Curvature Regularization
Model with Applications in Surface Smoothing and Imaging [6.860238280163609]
一般ガウス曲率モデルの演算子分割法を提案する。
提案手法は,パラメータの選択,効率,性能に敏感ではない。
論文 参考訳（メタデータ） (2021-08-04T08:59:41Z) - Solving high-dimensional eigenvalue problems using deep neural networks:
A diffusion Monte Carlo like approach [14.558626910178127]
固有値問題は、演算子によって誘導される半群フローの固定点問題として再構成される。
この方法は拡散モンテカルロと同様の精神を持つが、ニューラル・ネットワーク・アンサッツによる固有関数への直接近似を増大させる。
我々の手法はいくつかの数値例で正確な固有値と固有関数の近似を提供することができる。
論文 参考訳（メタデータ） (2020-02-07T03:08:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。