論文の概要: Leveraging Multi-time Hamilton-Jacobi PDEs for Certain Scientific Machine Learning Problems

• arxiv url: http://arxiv.org/abs/2303.12928v2
• Date: Wed, 17 May 2023 20:37:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 19:44:00.268831
• Title: Leveraging Multi-time Hamilton-Jacobi PDEs for Certain Scientific Machine Learning Problems
• Title（参考訳）: リアルタイムハミルトン・ヤコビPDEを用いた科学機械学習問題の解法
• Authors: Paula Chen, Tingwei Meng, Zongren Zou, J\'er\^ome Darbon, George Em Karniadakis
• Abstract要約: ハミルトン・ヤコビ偏微分方程式(HJ PDE)は、幅広い分野と深い関係を持つ。 機械学習における特定の最適化問題と,マルチタイムホップ式との間には,新たな理論的関連性を確立する。 これらの学習問題を解く際には,複数時間HJ PDEも解き,拡張によって対応する最適制御問題も解き明かす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Hamilton-Jacobi partial differential equations (HJ PDEs) have deep connections with a wide range of fields, including optimal control, differential games, and imaging sciences. By considering the time variable to be a higher dimensional quantity, HJ PDEs can be extended to the multi-time case. In this paper, we establish a novel theoretical connection between specific optimization problems arising in machine learning and the multi-time Hopf formula, which corresponds to a representation of the solution to certain multi-time HJ PDEs. Through this connection, we increase the interpretability of the training process of certain machine learning applications by showing that when we solve these learning problems, we also solve a multi-time HJ PDE and, by extension, its corresponding optimal control problem. As a first exploration of this connection, we develop the relation between the regularized linear regression problem and the Linear Quadratic Regulator (LQR). We then leverage our theoretical connection to adapt standard LQR solvers (namely, those based on the Riccati ordinary differential equations) to design new training approaches for machine learning. Finally, we provide some numerical examples that demonstrate the versatility and possible computational advantages of our Riccati-based approach in the context of continual learning, post-training calibration, transfer learning, and sparse dynamics identification.
• Abstract（参考訳）: ハミルトン・ヤコビ偏微分方程式(HJ PDE)は、最適制御、微分ゲーム、画像科学など幅広い分野と深い関係を持つ。 時間変数を高次元量とすることで、HJ PDEをマルチタイムケースに拡張することができる。 本稿では,機械学習における特定の最適化問題と,特定のHJ PDEに対する解の表現に対応するマルチタイムホップ式との間に,新たな理論的関係を確立する。 この接続を通じて、機械学習アプリケーションの学習過程の解釈可能性を高めるために、これらの学習問題を解く際に、マルチタイムのHJ PDEを解き、拡張することで、対応する最適制御問題を解くことを示す。 この接続に関する最初の調査として,正規化線形回帰問題と線形二次レギュレータ(lqr)の関係を明らかにした。 次に、理論的な接続を利用して標準lqrソルバ(すなわち、リッカティ常微分方程式に基づくもの)を適応させ、機械学習のための新しいトレーニングアプローチを設計する。 最後に,連続学習,ポストトレーニングキャリブレーション,トランスファー学習,スパースダイナミクス同定といった文脈において,riccatiに基づくアプローチの汎用性と計算可能性を示す数値例を提案する。

関連論文リスト

• Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning [1.8175282137722093]
  科学機械学習(SciML)における不確実性(UQ)は、SciMLの強力な予測力と、学習したモデルの信頼性を定量化する方法を組み合わせる。 我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDE)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。 我々はモデル予測を継続的に更新する際の計算上の利点を提供する新しいRacatiベースの方法論を開発した。
  論文  参考訳（メタデータ） (2024-04-12T20:54:01Z)
• Pretraining Codomain Attention Neural Operators for Solving Multiphysics PDEs [85.40198664108624]
  PDEを用いた多物理問題の解法として,コドメイン注意ニューラル演算子(CoDA-NO)を提案する。 CoDA-NOはコドメインやチャネル空間に沿った機能をトークン化し、複数のPDEシステムの自己教師付き学習や事前訓練を可能にする。 CoDA-NOは、データ制限のある複雑な下流タスクにおいて、既存のメソッドを36%以上上回ります。
  論文  参考訳（メタデータ） (2024-03-19T08:56:20Z)
• Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning [1.8175282137722093]
  科学機械学習(SciML)における2つの大きな課題に対処する。 我々は、SciMLから生じる最適化問題と一般化ホップ公式との新たな理論的関係を確立する。 既存のHJ PDEソルバと最適制御アルゴリズムを再利用して、新しい効率的なトレーニングアプローチを設計することができる。
  論文  参考訳（メタデータ） (2023-11-13T22:55:56Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Solving Coupled Differential Equation Groups Using PINO-CDE [42.363646159367946]
  PINO-CDEは結合微分方程式群(CDE)を解くためのディープラーニングフレームワークである 物理インフォームド・ニューラル演算子(PINO)の理論に基づいて、PINO-CDEはCDEの全ての量に対して単一のネットワークを使用する。 このフレームワークは、エンジニアリングダイナミクスとディープラーニング技術を統合し、CDEの解決と不確実性伝播のための新しい概念を明らかにする可能性がある。
  論文  参考訳（メタデータ） (2022-10-01T08:39:24Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Learning differentiable solvers for systems with hard constraints [48.54197776363251]
  ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。 我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。 その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
  論文  参考訳（メタデータ） (2022-07-18T15:11:43Z)
• Physics-constrained Unsupervised Learning of Partial Differential Equations using Meshes [1.066048003460524]
  グラフニューラルネットワークは、不規則にメッシュ化されたオブジェクトを正確に表現し、それらのダイナミクスを学ぶことを約束する。 本研究では、メッシュをグラフとして自然に表現し、グラフネットワークを用いてそれらを処理し、物理に基づく損失を定式化し、偏微分方程式(PDE)の教師なし学習フレームワークを提供する。 本フレームワークは, ソフトボディ変形のモデルベース制御など, PDEソルバをインタラクティブな設定に適用する。
  論文  参考訳（メタデータ） (2022-03-30T19:22:56Z)
• Distributed Methods with Compressed Communication for Solving Variational Inequalities, with Theoretical Guarantees [115.08148491584997]
  本稿では,MASHA1 と MASHA2 の圧縮通信による変分不等式とサドル点問題の解法について理論的に検討した。 新しいアルゴリズムは双方向圧縮をサポートし、バッチの設定や、クライアントの部分的な参加を伴うフェデレーション学習のために修正することもできる。
  論文  参考訳（メタデータ） (2021-10-07T10:04:32Z)
• Neural-PDE: A RNN based neural network for solving time dependent PDEs [6.560798708375526]
  偏微分方程式 (Partial differential equation, PDE) は、科学や工学における多くの問題を研究する上で重要な役割を果たしている。 本稿では,時間依存型PDEシステムのルールを自動的に学習する,Neural-PDEと呼ばれるシーケンス深層学習フレームワークを提案する。 我々の実験では、ニューラルPDEは20時間以内のトレーニングで効率よく力学を抽出し、正確な予測を行うことができる。
  論文  参考訳（メタデータ） (2020-09-08T15:46:00Z)
• Learning to Control PDEs with Differentiable Physics [102.36050646250871]
  本稿では,ニューラルネットワークが長い時間をかけて複雑な非線形物理系の理解と制御を学べる新しい階層型予測器・相関器手法を提案する。 本手法は,複雑な物理系の理解に成功し,PDEに関わるタスクに対してそれらを制御できることを実証する。
  論文  参考訳（メタデータ） (2020-01-21T11:58:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。