論文の概要: Optimal Transport Based Refinement of Physics-Informed Neural Networks
- arxiv url: http://arxiv.org/abs/2105.12307v2
- Date: Thu, 27 May 2021 16:26:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-01 03:55:24.273817
- Title: Optimal Transport Based Refinement of Physics-Informed Neural Networks
- Title（参考訳）: 物理インフォームドニューラルネットワークの最適輸送に基づくリファインメント
- Authors: Vaishnav Tadiparthi and Raktim Bhattacharya
- Abstract要約: 我々は、最適輸送(OT)の概念に基づく偏微分方程式(PDE)の解法として、よく知られた物理情報ニューラルネットワーク(PINN)の改良戦略を提案する。
PINNの解法は、完全接続された病理のスペクトルバイアス、不安定な勾配、収束と精度の難しさなど、多くの問題に悩まされている。
本稿では,既存の PINN フレームワークを補完する OT-based sample を用いて,Fokker-Planck-Kolmogorov Equation (FPKE) を解くための新しいトレーニング戦略を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we propose a refinement strategy to the well-known
Physics-Informed Neural Networks (PINNs) for solving partial differential
equations (PDEs) based on the concept of Optimal Transport (OT).
Conventional black-box PINNs solvers have been found to suffer from a host of
issues: spectral bias in fully-connected architectures, unstable gradient
pathologies, as well as difficulties with convergence and accuracy.
Current network training strategies are agnostic to dimension sizes and rely
on the availability of powerful computing resources to optimize through a large
number of collocation points.
This is particularly challenging when studying stochastic dynamical systems
with the Fokker-Planck-Kolmogorov Equation (FPKE), a second-order PDE which is
typically solved in high-dimensional state space.
While we focus exclusively on the stationary form of the FPKE, positivity and
normalization constraints on its solution make it all the more unfavorable to
solve directly using standard PINNs approaches.
To mitigate the above challenges, we present a novel training strategy for
solving the FPKE using OT-based sampling to supplement the existing PINNs
framework.
It is an iterative approach that induces a network trained on a small dataset
to add samples to its training dataset from regions where it nominally makes
the most error.
The new samples are found by solving a linear programming problem at every
iteration.
The paper is complemented by an experimental evaluation of the proposed
method showing its applicability on a variety of stochastic systems with
nonlinear dynamics.
- Abstract（参考訳）: 本稿では,偏微分方程式(PDE)を最適輸送(OT)の概念に基づいて解くために,よく知られた物理情報ニューラルネットワーク(PINN)の改良戦略を提案する。
従来のブラックボックスのPINNは、完全連結アーキテクチャにおけるスペクトルバイアス、不安定な勾配の病理、収束と精度の難しさなど、多くの問題に悩まされている。
現在のネットワークトレーニング戦略は次元サイズに依存せず、多数のコロケーションポイントを最適化するための強力なコンピューティングリソースの可用性に依存している。
これはフォッカー・プランク・コルモゴロフ方程式 (Fokker-Planck-Kolmogorov Equation, FPKE) を用いて確率力学系を研究する際に特に困難である。
我々は、FPKEの定常形式にのみ焦点をあてるが、そのソリューションに対する肯定性と正規化の制約により、標準のPINNアプローチを使って直接解決することがより好ましくない。
上記の課題を軽減するため,既存のPINNフレームワークを補完するためにOTベースのサンプリングを用いてFPKEを解くための新たなトレーニング戦略を提案する。
これは、小さなデータセットでトレーニングされたネットワークに、名目上最もエラーの多いリージョンからトレーニングデータセットにサンプルを追加するように誘導する反復的なアプローチである。
新しいサンプルは、反復毎に線形プログラミング問題を解くことで見つかる。
本論文は,非線形力学を持つ種々の確率系に適用性を示す提案手法を実験的に評価して補足する。
関連論文リスト
- RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。
本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。
実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
論文 参考訳（メタデータ） (2024-05-23T09:45:57Z) - The Convex Landscape of Neural Networks: Characterizing Global Optima
and Stationary Points via Lasso Models [75.33431791218302]
ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。
本稿では,凸型神経回復モデルについて検討する。
定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
論文 参考訳（メタデータ） (2023-12-19T23:04:56Z) - Hypernetwork-based Meta-Learning for Low-Rank Physics-Informed Neural
Networks [24.14254861023394]
本研究では,物理インフォームドニューラルネットワーク (PINN) がそのような解法の一つとして考えられる可能性を秘めた経路を提案する。
PINNは、ディープラーニングと科学計算の適切な統合を開拓してきたが、ニューラルネットワークの反復的な時間的トレーニングを必要としている。
本稿では,数百のモデルパラメータと関連するハイパーネットワークに基づくメタ学習アルゴリズムを含む軽量な低ランクPINNを提案する。
論文 参考訳（メタデータ） (2023-10-14T08:13:43Z) - PINNsFormer: A Transformer-Based Framework For Physics-Informed Neural Networks [22.39904196850583]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の数値解を近似するための有望なディープラーニングフレームワークとして登場した。
我々は,この制限に対処するために,新しいTransformerベースのフレームワークであるPINNsFormerを紹介した。
PINNsFormerは、PINNの障害モードや高次元PDEなど、様々なシナリオにおいて優れた一般化能力と精度を実現する。
論文 参考訳（メタデータ） (2023-07-21T18:06:27Z) - A Stable and Scalable Method for Solving Initial Value PDEs with Neural
Networks [52.5899851000193]
我々は,ネットワークの条件が悪くなるのを防止し,パラメータ数で時間線形に動作するODEベースのIPPソルバを開発した。
このアプローチに基づく現在の手法は2つの重要な問題に悩まされていることを示す。
まず、ODEに従うと、問題の条件付けにおいて制御不能な成長が生じ、最終的に許容できないほど大きな数値誤差が生じる。
論文 参考訳（メタデータ） (2023-04-28T17:28:18Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。
第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。
本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
論文 参考訳（メタデータ） (2022-11-13T09:51:16Z) - Improved Training of Physics-Informed Neural Networks with Model
Ensembles [81.38804205212425]
我々は、PINNを正しい解に収束させるため、解区間を徐々に拡大することを提案する。
すべてのアンサンブルのメンバーは、観測されたデータの近くで同じ解に収束する。
提案手法は, 得られた解の精度を向上させることができることを示す。
論文 参考訳（メタデータ） (2022-04-11T14:05:34Z) - Physics and Equality Constrained Artificial Neural Networks: Application
to Partial Differential Equations [1.370633147306388]
偏微分方程式(PDE)の解を学ぶために物理インフォームドニューラルネットワーク(PINN)が提案されている。
本稿では,この目的関数の定式化方法が,PINNアプローチにおける厳密な制約の源であることを示す。
本稿では,逆問題と前方問題の両方に対処可能な多目的フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-30T05:55:35Z) - Efficient training of physics-informed neural networks via importance
sampling [2.9005223064604078]
Physics-In Neural Networks(PINN)は、偏微分方程式(PDE)によって制御されるシステムを計算するために訓練されているディープニューラルネットワークのクラスである。
重要サンプリング手法により,PINN訓練の収束挙動が改善されることが示唆された。
論文 参考訳（メタデータ） (2021-04-26T02:45:10Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。