論文の概要: Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning

• arxiv url: http://arxiv.org/abs/2311.07790v2
• Date: Mon, 6 May 2024 19:10:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 20:03:52.745492
• Title: Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning
• Title（参考訳）: ハミルトン・ヤコビPDEの時間依存型ハミルトンによる連続科学機械学習への応用
• Authors: Paula Chen, Tingwei Meng, Zongren Zou, Jérôme Darbon, George Em Karniadakis,
• Abstract要約: 科学機械学習(SciML)における2つの大きな課題に対処する。 我々は、SciMLから生じる最適化問題と一般化ホップ公式との新たな理論的関係を確立する。 既存のHJ PDEソルバと最適制御アルゴリズムを再利用して、新しい効率的なトレーニングアプローチを設計することができる。
• 参考スコア（独自算出の注目度）: 1.8175282137722093
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We address two major challenges in scientific machine learning (SciML): interpretability and computational efficiency. We increase the interpretability of certain learning processes by establishing a new theoretical connection between optimization problems arising from SciML and a generalized Hopf formula, which represents the viscosity solution to a Hamilton-Jacobi partial differential equation (HJ PDE) with time-dependent Hamiltonian. Namely, we show that when we solve certain regularized learning problems with integral-type losses, we actually solve an optimal control problem and its associated HJ PDE with time-dependent Hamiltonian. This connection allows us to reinterpret incremental updates to learned models as the evolution of an associated HJ PDE and optimal control problem in time, where all of the previous information is intrinsically encoded in the solution to the HJ PDE. As a result, existing HJ PDE solvers and optimal control algorithms can be reused to design new efficient training approaches for SciML that naturally coincide with the continual learning framework, while avoiding catastrophic forgetting. As a first exploration of this connection, we consider the special case of linear regression and leverage our connection to develop a new Riccati-based methodology for solving these learning problems that is amenable to continual learning applications. We also provide some corresponding numerical examples that demonstrate the potential computational and memory advantages our Riccati-based approach can provide.
• Abstract（参考訳）: 科学機械学習(SciML)における2つの大きな課題に対処する。 我々は、SciMLから生じる最適化問題と一般化ホップ公式との新たな理論的関係を確立し、ハミルトン-ヤコビ偏微分方程式(HJ PDE)と時間依存ハミルトン方程式との粘度解を表現することによって、特定の学習過程の解釈可能性を高める。 すなわち、積分型損失を伴う正規化学習問題を解くと、時間依存ハミルトニアンによる最適制御問題とその関連するHJ PDEを実際に解く。 この接続により、学習したモデルに対する漸進的な更新を、関連するHJ PDEの進化と最適制御問題として解釈することができる。 その結果、既存のHJ PDEソルバと最適制御アルゴリズムを再利用して、破滅的な忘れを回避しつつ、継続的学習フレームワークと自然に一致するSciMLの新しい効率的なトレーニングアプローチを設計することができる。 この関係を最初に検討するため、線形回帰の特殊な事例を考察し、連続的な学習アプリケーションに適するこれらの学習問題を解決するための新しいリカティベースの方法論を開発する。 また、Racatiベースのアプローチで実現可能な、潜在的な計算およびメモリ上の利点を示す数値的な例をいくつか提示する。

関連論文リスト

• Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning [1.8175282137722093]
  科学機械学習(SciML)における不確実性(UQ)は、SciMLの強力な予測力と、学習したモデルの信頼性を定量化する方法を組み合わせる。 我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDE)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。 我々はモデル予測を継続的に更新する際の計算上の利点を提供する新しいRacatiベースの方法論を開発した。
  論文  参考訳（メタデータ） (2024-04-12T20:54:01Z)
• Self-Supervised Learning with Lie Symmetries for Partial Differential Equations [25.584036829191902]
  我々は、自己教師付き学習(SSL)のための共同埋め込み手法を実装することにより、PDEの汎用表現を学習する。 我々の表現は、PDEの係数の回帰などの不変タスクに対するベースラインアプローチよりも優れており、また、ニューラルソルバのタイムステッピング性能も向上している。 提案手法がPDEの汎用基盤モデルの開発に有効であることを期待する。
  論文  参考訳（メタデータ） (2023-07-11T16:52:22Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Leveraging Multi-time Hamilton-Jacobi PDEs for Certain Scientific Machine Learning Problems [1.6874375111244329]
  ハミルトン・ヤコビ偏微分方程式(HJ PDE)は、幅広い分野と深い関係を持つ。 機械学習における特定の最適化問題と,マルチタイムホップ式との間には,新たな理論的関連性を確立する。 これらの学習問題を解く際には,複数時間HJ PDEも解き,拡張によって対応する最適制御問題も解き明かす。
  論文  参考訳（メタデータ） (2023-03-22T21:55:30Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Data-driven initialization of deep learning solvers for Hamilton-Jacobi-Bellman PDEs [3.249853429482705]
  状態依存型 Riccati 方程式制御法は、まず、教師付き学習のための勾配拡張合成データセットを生成するために用いられる。 得られたモデルは、HJB PDEの残量に基づく損失関数の最小化のためのウォームスタートとなる。
  論文  参考訳（メタデータ） (2022-07-19T14:34:07Z)
• Learning differentiable solvers for systems with hard constraints [48.54197776363251]
  ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。 我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。 その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
  論文  参考訳（メタデータ） (2022-07-18T15:11:43Z)
• Physics-constrained Unsupervised Learning of Partial Differential Equations using Meshes [1.066048003460524]
  グラフニューラルネットワークは、不規則にメッシュ化されたオブジェクトを正確に表現し、それらのダイナミクスを学ぶことを約束する。 本研究では、メッシュをグラフとして自然に表現し、グラフネットワークを用いてそれらを処理し、物理に基づく損失を定式化し、偏微分方程式(PDE)の教師なし学習フレームワークを提供する。 本フレームワークは, ソフトボディ変形のモデルベース制御など, PDEソルバをインタラクティブな設定に適用する。
  論文  参考訳（メタデータ） (2022-03-30T19:22:56Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。