論文の概要: An operator preconditioning perspective on training in physics-informed
machine learning
- arxiv url: http://arxiv.org/abs/2310.05801v1
- Date: Mon, 9 Oct 2023 15:37:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 06:36:38.470567
- Title: An operator preconditioning perspective on training in physics-informed
machine learning
- Title(参考訳): 物理インフォームド機械学習におけるプレコンディショニングによるトレーニング
- Authors: Tim De Ryck, Florent Bonnet, Siddhartha Mishra, Emmanuel de B\'ezenac
- Abstract要約: PINNのような機械学習手法における勾配降下アルゴリズムの挙動について検討する。
我々の主要な結果は、これらのモデルを訓練することの難しさが、特定の微分作用素の条件付けと密接に関係していることである。
- 参考スコア(独自算出の注目度): 14.669937865993997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we investigate the behavior of gradient descent algorithms in
physics-informed machine learning methods like PINNs, which minimize residuals
connected to partial differential equations (PDEs). Our key result is that the
difficulty in training these models is closely related to the conditioning of a
specific differential operator. This operator, in turn, is associated to the
Hermitian square of the differential operator of the underlying PDE. If this
operator is ill-conditioned, it results in slow or infeasible training.
Therefore, preconditioning this operator is crucial. We employ both rigorous
mathematical analysis and empirical evaluations to investigate various
strategies, explaining how they better condition this critical operator, and
consequently improve training.
- Abstract(参考訳): 本稿では,偏微分方程式 (pdes) に結合した残差を最小化するpinnsなどの物理計算型機械学習手法における勾配降下アルゴリズムの挙動について検討する。
我々の主要な結果は、これらのモデルを訓練することの難しさが、特定の微分作用素の条件付けと密接に関係していることである。
この作用素は、代わりに、下層の PDE の微分作用素のエルミート二乗に関連付けられる。
このオペレータが不調であれば、遅く、あるいは不可能なトレーニングとなる。
したがって、このオペレータのプレコンディショニングは重要です。
我々は、厳密な数学的分析と経験的評価の両方を用いて、様々な戦略を調査し、このクリティカルオペレーターを適切に条件付けし、その結果、トレーニングを改善する方法について説明する。
関連論文リスト
- Data-Efficient Operator Learning via Unsupervised Pretraining and
In-Context Learning [48.51023783276896]
PDE演算子学習のための教師なし事前学習とコンテキスト学習を設計する。
提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
論文 参考訳(メタデータ) (2024-02-24T06:27:33Z) - Operator Learning: Algorithms and Analysis [8.305111048568737]
オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。
このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-24T04:40:27Z) - PICL: Physics Informed Contrastive Learning for Partial Differential
Equations [8.430481660019451]
一般化されたコントラスト的損失を利用した新しいコントラスト的事前学習フレームワークを開発した。
物理インフォームドコントラストプレトレーニングは、固定未来タスクにおけるフーリエニューラル演算子の精度と一般化の両方を改善する。
論文 参考訳(メタデータ) (2024-01-29T17:32:22Z) - Energy-Preserving Reduced Operator Inference for Efficient Design and
Control [0.0]
本研究は偏微分方程式を対象とする物理保存型還元モデル学習手法を提案する。
EP-OpInfは、このエネルギー保存構造を保持する効率的で正確な還元モデルを学ぶ。
論文 参考訳(メタデータ) (2024-01-05T16:39:48Z) - Physics informed WNO [0.0]
パラメトリック偏微分方程式(PDE)系の解演算子をラベル付きトレーニングデータなしで学習するための物理インフォームドウェーブレット演算子(WNO)を提案する。
このフレームワークの有効性は、工学と科学の様々な分野に関連する4つの非線形ニューラルネットワークで検証され、実証されている。
論文 参考訳(メタデータ) (2023-02-12T14:31:50Z) - Approximate Bayesian Neural Operators: Uncertainty Quantification for
Parametric PDEs [34.179984253109346]
ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。
次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。
その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
論文 参考訳(メタデータ) (2022-08-02T16:10:27Z) - Learning Dynamical Systems via Koopman Operator Regression in
Reproducing Kernel Hilbert Spaces [52.35063796758121]
動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。
リスクとクープマン作用素のスペクトル分解の推定を関連付ける。
以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
論文 参考訳(メタデータ) (2022-05-27T14:57:48Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。
値ベースの手法では、最適な値関数を正確に表現することが課題となる。
政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。
学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
論文 参考訳(メタデータ) (2021-05-31T23:08:05Z) - Differentiable Top-k Operator with Optimal Transport [135.36099648554054]
SOFTトップk演算子は、エントロピック最適輸送(EOT)問題の解として、トップk演算の出力を近似する。
提案した演算子をk-アネレスト近傍およびビーム探索アルゴリズムに適用し,性能向上を示す。
論文 参考訳(メタデータ) (2020-02-16T04:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。