論文の概要: An operator preconditioning perspective on training in physics-informed machine learning

• arxiv url: http://arxiv.org/abs/2310.05801v1
• Date: Mon, 9 Oct 2023 15:37:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-11 06:36:38.470567
• Title: An operator preconditioning perspective on training in physics-informed machine learning
• Title（参考訳）: 物理インフォームド機械学習におけるプレコンディショニングによるトレーニング
• Authors: Tim De Ryck, Florent Bonnet, Siddhartha Mishra, Emmanuel de B\'ezenac
• Abstract要約: PINNのような機械学習手法における勾配降下アルゴリズムの挙動について検討する。 我々の主要な結果は、これらのモデルを訓練することの難しさが、特定の微分作用素の条件付けと密接に関係していることである。
• 参考スコア（独自算出の注目度）: 14.669937865993997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we investigate the behavior of gradient descent algorithms in physics-informed machine learning methods like PINNs, which minimize residuals connected to partial differential equations (PDEs). Our key result is that the difficulty in training these models is closely related to the conditioning of a specific differential operator. This operator, in turn, is associated to the Hermitian square of the differential operator of the underlying PDE. If this operator is ill-conditioned, it results in slow or infeasible training. Therefore, preconditioning this operator is crucial. We employ both rigorous mathematical analysis and empirical evaluations to investigate various strategies, explaining how they better condition this critical operator, and consequently improve training.
• Abstract（参考訳）: 本稿では,偏微分方程式 (pdes) に結合した残差を最小化するpinnsなどの物理計算型機械学習手法における勾配降下アルゴリズムの挙動について検討する。 我々の主要な結果は、これらのモデルを訓練することの難しさが、特定の微分作用素の条件付けと密接に関係していることである。 この作用素は、代わりに、下層の PDE の微分作用素のエルミート二乗に関連付けられる。 このオペレータが不調であれば、遅く、あるいは不可能なトレーニングとなる。 したがって、このオペレータのプレコンディショニングは重要です。 我々は、厳密な数学的分析と経験的評価の両方を用いて、様々な戦略を調査し、このクリティカルオペレーターを適切に条件付けし、その結果、トレーニングを改善する方法について説明する。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Disentangled Representation Learning for Parametric Partial Differential Equations [31.240283037552427]
  ニューラル演算子パラメータから不整合表現を学習するための新しいパラダイムを提案する。 DisentangOは、ブラックボックス・ニューラル・オペレーターパラメータに埋め込まれた変動の潜在的物理的要因を明らかにし、取り除くように設計された、新しいハイパーニューラル・オペレーターアーキテクチャである。 本研究では、DentangOが有意義かつ解釈可能な潜在特徴を効果的に抽出し、ニューラルネットワークフレームワークにおける予測性能と身体的理解の分離を橋渡しすることを示す。
  論文  参考訳（メタデータ） (2024-10-03T01:40:39Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• Operator Learning: Algorithms and Analysis [8.305111048568737]
  オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。 このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
  論文  参考訳（メタデータ） (2024-02-24T04:40:27Z)
• PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
  我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。 物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。 物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-29T17:32:22Z)
• Energy-Preserving Reduced Operator Inference for Efficient Design and Control [0.0]
  本研究は偏微分方程式を対象とする物理保存型還元モデル学習手法を提案する。 EP-OpInfは、このエネルギー保存構造を保持する効率的で正確な還元モデルを学ぶ。
  論文  参考訳（メタデータ） (2024-01-05T16:39:48Z)
• Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs [34.179984253109346]
  ニューラル作用素の'hallow'(線形)バージョンを数学的に詳細に定式化する。 次に、ベイズ深層学習の近似手法を用いて、この解析処理を一般のディープニューラル演算子に拡張する。 その結果, ニューラル演算子の予測に失敗するケースを同定し, 構造的不確実性推定を行うことができた。
  論文  参考訳（メタデータ） (2022-08-02T16:10:27Z)
• Learning Dynamical Systems via Koopman Operator Regression in Reproducing Kernel Hilbert Spaces [52.35063796758121]
  動的システムの有限データ軌跡からクープマン作用素を学ぶためのフレームワークを定式化する。 リスクとクープマン作用素のスペクトル分解の推定を関連付ける。 以上の結果から,RRRは他の広く用いられている推定値よりも有益である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-05-27T14:57:48Z)
• Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
  本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。 提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。 ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
  論文  参考訳（メタデータ） (2021-08-19T03:56:49Z)
• Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
  MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。 値ベースの手法では、最適な値関数を正確に表現することが課題となる。 政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。 学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
  論文  参考訳（メタデータ） (2021-05-31T23:08:05Z)
• Differentiable Top-k Operator with Optimal Transport [135.36099648554054]
  SOFTトップk演算子は、エントロピック最適輸送(EOT)問題の解として、トップk演算の出力を近似する。 提案した演算子をk-アネレスト近傍およびビーム探索アルゴリズムに適用し,性能向上を示す。
  論文  参考訳（メタデータ） (2020-02-16T04:57:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。