Fugu-MT 論文翻訳(概要): An axiomatized PDE model of deep neural networks

論文の概要: An axiomatized PDE model of deep neural networks

arxiv url: http://arxiv.org/abs/2307.12333v1
Date: Sun, 23 Jul 2023 14:00:33 GMT
ステータス: 処理完了
システム内更新日: 2023-07-25 16:41:36.399004
Title: An axiomatized PDE model of deep neural networks
Title（参考訳）: 深部ニューラルネットワークの公理化PDEモデル
Authors: Tangjun Wang, Wenqi Tao, Chenglong Bao, Zuoqiang Shi
Abstract要約: ディープニューラルネットワーク(DNN)と偏微分方程式(PDE)の関係から着想を得て,ディープニューラルネットワークのPDEモデルの一般的な形式について検討する。進化作用素が実際に対流拡散方程式によって決定されることを示す。対流拡散方程式モデルによりロバスト性が向上し,ラデマッハの複雑性が低下することを示す。
参考スコア（独自算出の注目度）: 12.573746641284849
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Inspired by the relation between deep neural network (DNN) and partial differential equations (PDEs), we study the general form of the PDE models of deep neural networks. To achieve this goal, we formulate DNN as an evolution operator from a simple base model. Based on several reasonable assumptions, we prove that the evolution operator is actually determined by convection-diffusion equation. This convection-diffusion equation model gives mathematical explanation for several effective networks. Moreover, we show that the convection-diffusion model improves the robustness and reduces the Rademacher complexity. Based on the convection-diffusion equation, we design a new training method for ResNets. Experiments validate the performance of the proposed method.
Abstract（参考訳）: ディープニューラルネットワーク (DNN) と偏微分方程式 (PDE) の関係に着想を得て, ディープニューラルネットワークのPDEモデルの一般形について検討する。この目的を達成するために、単純なベースモデルからDNNを進化演算子として定式化する。いくつかの合理的な仮定に基づいて、進化作用素が実際に対流拡散方程式によって決定されることを示す。この対流拡散方程式モデルは、いくつかの有効なネットワークの数学的説明を与える。さらに,対流拡散モデルによりロバスト性が向上し,Rademacherの複雑性が低下することを示す。対流拡散方程式に基づいて,ResNetsの新しいトレーニング手法を設計する。提案手法の性能を検証する実験を行った。

関連論文リスト

Automatic Differentiation is Essential in Training Neural Networks for Solving Differential Equations [7.890817997914349]
ニューラルネットワークに基づくアプローチは、最近、科学と工学における偏微分方程式(PDE)の解法において大きな可能性を示している。 PDEのためのニューラルネットワーク手法の利点の1つは、その自動微分(AD)にある。本稿では、ニューラルネットワークのトレーニングにおけるADの利点を定量的に示す。
論文参考訳（メタデータ） (2024-05-23T02:01:05Z)
Discovering Physics-Informed Neural Networks Model for Solving Partial Differential Equations through Evolutionary Computation [5.8407437499182935]
本稿では,より高い近似精度と高速収束率を持つPINNモデルの探索を目的とした進化的計算手法を提案する。実験では、ベイズ最適化、ランダム探索、進化を通じて探索される異なるモデルの性能を比較して、クライン=ゴルドン方程式、バーガー方程式、ラム方程式を解く。
論文参考訳（メタデータ） (2024-05-18T07:32:02Z)
Diffusion models as probabilistic neural operators for recovering unobserved states of dynamical systems [49.2319247825857]
拡散に基づく生成モデルは、ニューラル演算子に好適な多くの特性を示す。本稿では,複数のタスクに適応可能な単一モデルを,トレーニング中のタスク間で交互に学習することを提案する。
論文参考訳（メタデータ） (2024-05-11T21:23:55Z)
Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks [14.01268607317875]
ニューラルネットワークの偏微分方程式モデルについて検討する。この写像は対流拡散方程式で定式化できることを示す。拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。
論文参考訳（メタデータ） (2024-03-23T05:26:36Z)
Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文参考訳（メタデータ） (2022-08-02T18:27:13Z)
Neural Operator with Regularity Structure for Modeling Dynamics Driven by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文参考訳（メタデータ） (2022-04-13T08:53:41Z)
Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文参考訳（メタデータ） (2022-02-18T18:07:54Z)
Climate Modeling with Neural Diffusion Equations [3.8521112392276]
ニューラル常微分方程式(NODE)と拡散方程式に基づく新しい気候モデルの設計を行う。我々の手法は、既存のベースラインを非自明なマージンで一貫して上回る。
論文参考訳（メタデータ） (2021-11-11T01:48:46Z)
SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文参考訳（メタデータ） (2021-02-25T17:45:50Z)
Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文参考訳（メタデータ） (2020-07-08T21:23:19Z)
Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。