論文の概要: DOF: Accelerating High-order Differential Operators with Forward Propagation

• arxiv url: http://arxiv.org/abs/2402.09730v1
• Date: Thu, 15 Feb 2024 05:59:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 16:52:56.003632
• Title: DOF: Accelerating High-order Differential Operators with Forward Propagation
• Title（参考訳）: DOF:フォワード伝搬による高次微分演算子の高速化
• Authors: Ruichen Li, Chuwei Wang, Haotian Ye, Di He, Liwei Wang
• Abstract要約: 一般の2階微分演算子を精度を損なわずに計算するための効率的なフレームワークである差分演算子(DOF)を提案する。 我々は、効率が2倍改善され、どんなアーキテクチャでもメモリ消費が削減されたことを実証する。 実験結果から,本手法は従来の自動微分法(AutoDiff)よりも優れ,構造が2倍,空間が20倍近く向上していることがわかった。
• 参考スコア（独自算出の注目度）: 40.71528485918067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solving partial differential equations (PDEs) efficiently is essential for analyzing complex physical systems. Recent advancements in leveraging deep learning for solving PDE have shown significant promise. However, machine learning methods, such as Physics-Informed Neural Networks (PINN), face challenges in handling high-order derivatives of neural network-parameterized functions. Inspired by Forward Laplacian, a recent method of accelerating Laplacian computation, we propose an efficient computational framework, Differential Operator with Forward-propagation (DOF), for calculating general second-order differential operators without losing any precision. We provide rigorous proof of the advantages of our method over existing methods, demonstrating two times improvement in efficiency and reduced memory consumption on any architectures. Empirical results illustrate that our method surpasses traditional automatic differentiation (AutoDiff) techniques, achieving 2x improvement on the MLP structure and nearly 20x improvement on the MLP with Jacobian sparsity.
• Abstract（参考訳）: 偏微分方程式(PDE)を効率的に解くことは複雑な物理系を解析するのに不可欠である。 PDEの問題解決にディープラーニングを活用した最近の進歩は大きな可能性を秘めている。 しかし、物理情報ニューラルネットワーク(PINN)のような機械学習手法は、ニューラルネットワークパラメータ関数の高次微分を扱う際の課題に直面している。 ラプラシアン計算を高速化する最近の手法であるフォワード・ラプラシアンに着想を得て,一般二階微分演算子を精度を損なわずに計算するための効率的な計算フレームワークである微分演算子(DOF)を提案する。 提案手法が既存の手法よりも優れていることを厳密に証明し,効率の2倍の改善とメモリ消費の削減を実証した。 実験の結果,本手法は従来の自動微分(AutoDiff)手法を超越し,MLP構造を2倍改善し,ジャコビアン空間を20倍改善した。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• A Physics-Informed Machine Learning Approach for Solving Distributed Order Fractional Differential Equations [0.0]
  本稿では,物理インフォームド機械学習フレームワークを用いた分散次分数差分方程式の解法を提案する。 分散階関数式をSVRフレームワークに組み込むことで、物理法則を直接学習プロセスに組み込む。 提案手法の有効性は,Caputo-based distributed-order fractional differential equationsの数値実験を通じて検証した。
  論文  参考訳（メタデータ） (2024-09-05T13:20:10Z)
• Accelerating Fractional PINNs using Operational Matrices of Derivative [0.24578723416255746]
  本稿では,分数次物理学情報ニューラルネットワーク(fPINN)の学習を高速化する新しい演算行列法を提案する。 提案手法では、カプトー型分数微分問題において、0alpha1$での分数導関数の高速な計算を容易にする。 提案手法の有効性は,遅延微分方程式 (DDE) や微分代数方程式 (DAE) など,様々な微分方程式にまたがって検証される。
  論文  参考訳（メタデータ） (2024-01-25T11:00:19Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Accelerated primal-dual methods with enlarged step sizes and operator learning for nonsmooth optimal control problems [3.1006429989273063]
  本稿では,異なる種類の変数を個別に扱える原始双対法の適用に焦点をあてる。 ステップサイズが大きい高速化された原始双対法では、元の原始双対法を数値的に高速化しながら、その収束を厳密に証明することができる。 演算子学習アクセラレーションのために、関連するPDEのためのディープニューラルネットワークサロゲートモデルを構築する。
  論文  参考訳（メタデータ） (2023-07-01T10:39:07Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Efficiently Solving High-Order and Nonlinear ODEs with Rational Fraction Polynomial: the Ratio Net [3.155317790896023]
  本研究では、ニューラルネットワークアーキテクチャを導入して、比重ネットと呼ばれる試行関数を構築することで、異なるアプローチをとる。 実証実験により,提案手法は既存手法と比較して高い効率性を示すことを示した。 比重ネットは、微分方程式の解法効率と有効性を向上させることを約束する。
  論文  参考訳（メタデータ） (2021-05-18T16:59:52Z)
• Efficient Learning of Generative Models via Finite-Difference Score Matching [111.55998083406134]
  有限差分で任意の順序方向微分を効率的に近似する汎用戦略を提案する。 我々の近似は関数評価にのみ関係しており、これは並列で実行でき、勾配計算は行わない。
  論文  参考訳（メタデータ） (2020-07-07T10:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。