論文の概要: HyperLoRA for PDEs
- arxiv url: http://arxiv.org/abs/2308.09290v1
- Date: Fri, 18 Aug 2023 04:29:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 14:47:29.455457
- Title: HyperLoRA for PDEs
- Title（参考訳）: PDEのためのHyperLoRA
- Authors: Ritam Majumdar, Vishal Jadhav, Anirudh Deodhar, Shirish Karande,
Lovekesh Vig, Venkataramana Runkana
- Abstract要約: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。
PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。
モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
- 参考スコア（独自算出の注目度）: 7.898728380447954
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Physics-informed neural networks (PINNs) have been widely used to develop
neural surrogates for solutions of Partial Differential Equations. A drawback
of PINNs is that they have to be retrained with every change in
initial-boundary conditions and PDE coefficients. The Hypernetwork, a
model-based meta learning technique, takes in a parameterized task embedding as
input and predicts the weights of PINN as output. Predicting weights of a
neural network however, is a high-dimensional regression problem, and
hypernetworks perform sub-optimally while predicting parameters for large base
networks. To circumvent this issue, we use a low ranked adaptation (LoRA)
formulation to decompose every layer of the base network into low-ranked
tensors and use hypernetworks to predict the low-ranked tensors. Despite the
reduced dimensionality of the resulting weight-regression problem, LoRA-based
Hypernetworks violate the underlying physics of the given task. We demonstrate
that the generalization capabilities of LoRA-based hypernetworks drastically
improve when trained with an additional physics-informed loss component
(HyperPINN) to satisfy the governing differential equations. We observe that
LoRA-based HyperPINN training allows us to learn fast solutions for
parameterized PDEs like Burger's equation and Navier Stokes: Kovasznay flow,
while having an 8x reduction in prediction parameters on average without
compromising on accuracy when compared to all other baselines.
- Abstract（参考訳）: 物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。
PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。
モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
しかし、ニューラルネットワークの重み予測は高次元回帰問題であり、ハイパーネットは大きなベースネットワークのパラメータを予測しながら準最適に実行する。
この問題を回避するために、ベースネットワークの各層を低ランクテンソルに分解し、ハイパーネットワークを用いて低ランクテンソルを予測するために低ランク適応(lora)式を用いる。
結果として生じる重量減少問題の次元性の低下にもかかわらず、LoRAベースのHypernetworksは与えられたタスクの基礎となる物理に反する。
我々は,LoRAに基づくハイパーネットの一般化能力が,制御微分方程式を満たすために,追加の物理インフォームド損失成分(HyperPINN)をトレーニングすることで大幅に向上することが実証された。
loraベースのハイパーピントレーニングにより、バーガー方程式やnavier stokesのようなパラメータ化されたpdesの高速解を学習できる。 kovasznayフローは、他のすべてのベースラインと比較して精度を損なうことなく平均8倍の予測パラメータを削減できる。
関連論文リスト
- Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression: A Distribution-Free Analysis [19.988762532185884]
ニューラルネットワークが早期停止でGDによってトレーニングされている場合、トレーニングされたネットワークは、非パラメトリック回帰リスクが$cO(eps_n2)$のシャープレートを示す。
本研究の結果は,トレーニングデータに分布的な仮定を必要としないことが示唆された。
論文 参考訳（メタデータ） (2024-11-05T08:43:54Z) - HyResPINNs: Adaptive Hybrid Residual Networks for Learning Optimal Combinations of Neural and RBF Components for Physics-Informed Modeling [22.689531776611084]
我々はHyResPINNと呼ばれる新しいPINNのクラスを提示する。
本手法の重要な特徴は,各残差ブロックに適応的な組み合わせパラメータを組み込むことである。
HyResPINNは従来のPINNよりも、ポイントロケーションやニューラルネットワークアーキテクチャのトレーニングに堅牢であることを示す。
論文 参考訳（メタデータ） (2024-10-04T16:21:14Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳（メタデータ） (2023-02-20T19:36:52Z) - RBF-MGN:Solving spatiotemporal PDEs with Physics-informed Graph Neural
Network [4.425915683879297]
グラフニューラルネットワーク(GNN)とラジアル基底関数有限差分(RBF-FD)に基づく新しいフレームワークを提案する。
RBF-FDはモデルトレーニングを導くために微分方程式の高精度差分形式を構築するために用いられる。
提案アルゴリズムの一般化可能性,精度,効率性を,異なるPDEパラメータで説明する。
論文 参考訳（メタデータ） (2022-12-06T10:08:02Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳（メタデータ） (2022-08-02T18:27:13Z) - Learning to Solve PDE-constrained Inverse Problems with Graph Networks [51.89325993156204]
科学と工学にまたがる多くの応用分野において、偏微分方程式(PDE)によって定義される制約で逆問題を解決することに興味がある。
ここでは、これらのPDE制約された逆問題を解決するために、GNNを探索する。
GNNを用いて計算速度を最大90倍に向上させる。
論文 参考訳（メタデータ） (2022-06-01T18:48:01Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving
Spatiotemporal PDEs [8.220908558735884]
偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。
近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。
本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
論文 参考訳（メタデータ） (2021-06-26T22:22:19Z) - Quadratic Residual Networks: A New Class of Neural Networks for Solving
Forward and Inverse Problems in Physics Involving PDEs [2.8718027848324317]
quadratic residual networks (qres) は新しいタイプのパラメータ効率の良いニューラルネットワークアーキテクチャである。
QRは偏微分方程式(PDE)を含む前方および逆物理問題を解くのに特に強力であることを示す。
実験により,特に複雑なパターンの学習において,qreは学習回数の点で収束速度が速いことを示した。
論文 参考訳（メタデータ） (2021-01-20T23:54:55Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。