論文の概要: DOF: Accelerating High-order Differential Operators with Forward
Propagation
- arxiv url: http://arxiv.org/abs/2402.09730v1
- Date: Thu, 15 Feb 2024 05:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 16:52:56.003632
- Title: DOF: Accelerating High-order Differential Operators with Forward
Propagation
- Title(参考訳): DOF:フォワード伝搬による高次微分演算子の高速化
- Authors: Ruichen Li, Chuwei Wang, Haotian Ye, Di He, Liwei Wang
- Abstract要約: 一般の2階微分演算子を精度を損なわずに計算するための効率的なフレームワークである差分演算子(DOF)を提案する。
我々は、効率が2倍改善され、どんなアーキテクチャでもメモリ消費が削減されたことを実証する。
実験結果から,本手法は従来の自動微分法(AutoDiff)よりも優れ,構造が2倍,空間が20倍近く向上していることがわかった。
- 参考スコア(独自算出の注目度): 40.71528485918067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Solving partial differential equations (PDEs) efficiently is essential for
analyzing complex physical systems. Recent advancements in leveraging deep
learning for solving PDE have shown significant promise. However, machine
learning methods, such as Physics-Informed Neural Networks (PINN), face
challenges in handling high-order derivatives of neural network-parameterized
functions. Inspired by Forward Laplacian, a recent method of accelerating
Laplacian computation, we propose an efficient computational framework,
Differential Operator with Forward-propagation (DOF), for calculating general
second-order differential operators without losing any precision. We provide
rigorous proof of the advantages of our method over existing methods,
demonstrating two times improvement in efficiency and reduced memory
consumption on any architectures. Empirical results illustrate that our method
surpasses traditional automatic differentiation (AutoDiff) techniques,
achieving 2x improvement on the MLP structure and nearly 20x improvement on the
MLP with Jacobian sparsity.
- Abstract(参考訳): 偏微分方程式(PDE)を効率的に解くことは複雑な物理系を解析するのに不可欠である。
PDEの問題解決にディープラーニングを活用した最近の進歩は大きな可能性を秘めている。
しかし、物理情報ニューラルネットワーク(PINN)のような機械学習手法は、ニューラルネットワークパラメータ関数の高次微分を扱う際の課題に直面している。
ラプラシアン計算を高速化する最近の手法であるフォワード・ラプラシアンに着想を得て,一般二階微分演算子を精度を損なわずに計算するための効率的な計算フレームワークである微分演算子(DOF)を提案する。
提案手法が既存の手法よりも優れていることを厳密に証明し,効率の2倍の改善とメモリ消費の削減を実証した。
実験の結果,本手法は従来の自動微分(AutoDiff)手法を超越し,MLP構造を2倍改善し,ジャコビアン空間を20倍改善した。
関連論文リスト
- Accelerating Fractional PINNs using Operational Matrices of Derivative [0.24578723416255746]
本稿では,分数次物理学情報ニューラルネットワーク(fPINN)の学習を高速化する新しい演算行列法を提案する。
提案手法では、カプトー型分数微分問題において、0alpha1$での分数導関数の高速な計算を容易にする。
提案手法の有効性は,遅延微分方程式 (DDE) や微分代数方程式 (DAE) など,様々な微分方程式にまたがって検証される。
論文 参考訳(メタデータ) (2024-01-25T11:00:19Z) - Accelerated primal-dual methods with enlarged step sizes and operator
learning for nonsmooth optimal control problems [3.1006429989273063]
本稿では,異なる種類の変数を個別に扱える原始双対法の適用に焦点をあてる。
ステップサイズが大きい高速化された原始双対法では、元の原始双対法を数値的に高速化しながら、その収束を厳密に証明することができる。
演算子学習アクセラレーションのために、関連するPDEのためのディープニューラルネットワークサロゲートモデルを構築する。
論文 参考訳(メタデータ) (2023-07-01T10:39:07Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳(メタデータ) (2023-03-03T08:17:47Z) - VI-DGP: A variational inference method with deep generative prior for
solving high-dimensional inverse problems [0.7734726150561089]
本研究では,高次元後方分布を推定するための新しい近似法を提案する。
このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。
提案手法は自動微分方式で完全に実装できる。
論文 参考訳(メタデータ) (2023-02-22T06:48:10Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Nesterov Accelerated ADMM for Fast Diffeomorphic Image Registration [63.15453821022452]
ディープラーニングに基づくアプローチの最近の発展は、DiffIRのサブ秒間実行を実現している。
本稿では,中間定常速度場を機能的に構成する簡易な反復スキームを提案する。
次に、任意の順序の正規化項を用いて、これらの速度場に滑らかさを課す凸最適化モデルを提案する。
論文 参考訳(メタデータ) (2021-09-26T19:56:45Z) - Efficient Differentiable Simulation of Articulated Bodies [89.64118042429287]
本稿では, 音素の効率的な微分可能シミュレーション法を提案する。
これにより、ボディダイナミクスを深層学習フレームワークに統合することが可能になる。
提案手法を用いて, 調音システムによる強化学習を高速化できることを示す。
論文 参考訳(メタデータ) (2021-09-16T04:48:13Z) - Efficiently Solving High-Order and Nonlinear ODEs with Rational Fraction
Polynomial: the Ratio Net [3.155317790896023]
本研究では、ニューラルネットワークアーキテクチャを導入して、比重ネットと呼ばれる試行関数を構築することで、異なるアプローチをとる。
実証実験により,提案手法は既存手法と比較して高い効率性を示すことを示した。
比重ネットは、微分方程式の解法効率と有効性を向上させることを約束する。
論文 参考訳(メタデータ) (2021-05-18T16:59:52Z) - Efficient Learning of Generative Models via Finite-Difference Score
Matching [111.55998083406134]
有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。
我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
論文 参考訳(メタデータ) (2020-07-07T10:05:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。