論文の概要: An axiomatized PDE model of deep neural networks
- arxiv url: http://arxiv.org/abs/2307.12333v1
- Date: Sun, 23 Jul 2023 14:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 16:41:36.399004
- Title: An axiomatized PDE model of deep neural networks
- Title(参考訳): 深部ニューラルネットワークの公理化PDEモデル
- Authors: Tangjun Wang, Wenqi Tao, Chenglong Bao, Zuoqiang Shi
- Abstract要約: ディープニューラルネットワーク(DNN)と偏微分方程式(PDE)の関係から着想を得て,ディープニューラルネットワークのPDEモデルの一般的な形式について検討する。
進化作用素が実際に対流拡散方程式によって決定されることを示す。
対流拡散方程式モデルによりロバスト性が向上し,ラデマッハの複雑性が低下することを示す。
- 参考スコア(独自算出の注目度): 12.573746641284849
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Inspired by the relation between deep neural network (DNN) and partial
differential equations (PDEs), we study the general form of the PDE models of
deep neural networks. To achieve this goal, we formulate DNN as an evolution
operator from a simple base model. Based on several reasonable assumptions, we
prove that the evolution operator is actually determined by
convection-diffusion equation. This convection-diffusion equation model gives
mathematical explanation for several effective networks. Moreover, we show that
the convection-diffusion model improves the robustness and reduces the
Rademacher complexity. Based on the convection-diffusion equation, we design a
new training method for ResNets. Experiments validate the performance of the
proposed method.
- Abstract(参考訳): ディープニューラルネットワーク (DNN) と偏微分方程式 (PDE) の関係に着想を得て, ディープニューラルネットワークのPDEモデルの一般形について検討する。
この目的を達成するために、単純なベースモデルからDNNを進化演算子として定式化する。
いくつかの合理的な仮定に基づいて、進化作用素が実際に対流拡散方程式によって決定されることを示す。
この対流拡散方程式モデルは、いくつかの有効なネットワークの数学的説明を与える。
さらに,対流拡散モデルによりロバスト性が向上し,Rademacherの複雑性が低下することを示す。
対流拡散方程式に基づいて,ResNetsの新しいトレーニング手法を設計する。
提案手法の性能を検証する実験を行った。
関連論文リスト
- Convection-Diffusion Equation: A Theoretically Certified Framework for Neural Networks [14.01268607317875]
ニューラルネットワークの偏微分方程式モデルについて検討する。
この写像は対流拡散方程式で定式化できることを示す。
拡散機構をネットワークアーキテクチャに組み込んだ新しいネットワーク構造を設計する。
論文 参考訳(メタデータ) (2024-03-23T05:26:36Z) - Analyzing Neural Network-Based Generative Diffusion Models through
Convex Optimization [54.01594785269913]
拡散モデルは画像、ビデオ、オーディオ生成に広く使われている。
スコアベース拡散モデルでは,入力データ分布のスコア関数を推定する必要がある。
この研究は、ニューラルネットワークベースの拡散モデルが漸近的でない環境で何を学ぶかを理解するのに寄与する。
論文 参考訳(メタデータ) (2024-02-03T00:20:25Z) - Neural Basis Functions for Accelerating Solutions to High Mach Euler
Equations [63.8376359764052]
ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。
ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。
これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
論文 参考訳(メタデータ) (2022-08-02T18:27:13Z) - Neural Operator with Regularity Structure for Modeling Dynamics Driven
by SPDEs [70.51212431290611]
偏微分方程式 (SPDE) は、大気科学や物理学を含む多くの分野において、力学をモデル化するための重要なツールである。
本研究では,SPDEによって駆動されるダイナミクスをモデル化するための特徴ベクトルを組み込んだニューラル演算子(NORS)を提案する。
動的Phi41モデルと2d Navier-Stokes方程式を含む様々なSPDE実験を行った。
論文 参考訳(メタデータ) (2022-04-13T08:53:41Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳(メタデータ) (2022-02-18T18:07:54Z) - Climate Modeling with Neural Diffusion Equations [3.8521112392276]
ニューラル常微分方程式(NODE)と拡散方程式に基づく新しい気候モデルの設計を行う。
我々の手法は、既存のベースラインを非自明なマージンで一貫して上回る。
論文 参考訳(メタデータ) (2021-11-11T01:48:46Z) - Evolutional Deep Neural Network [0.0]
偏微分方程式(PDE)の解に対する進化的ディープニューラルネットワーク(EDNN)の導入
パラメータ空間にニューラルネットワークの重みを行進させることで、EDNNは無限に長い状態空間の軌道を予測できる。
熱方程式、対流方程式、バーガース方程式、クラモト・シヴァシンスキー方程式、ナビエ・ストークス方程式を含むいくつかの応用が解かれる。
論文 参考訳(メタデータ) (2021-03-18T00:33:11Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳(メタデータ) (2021-02-25T17:45:50Z) - Combining Differentiable PDE Solvers and Graph Neural Networks for Fluid
Flow Prediction [79.81193813215872]
我々は,従来のグラフ畳み込みネットワークと,ネットワーク内部に組込み可能な流体力学シミュレータを組み合わせたハイブリッド(グラフ)ニューラルネットワークを開発した。
ニューラルネットワークのCFD予測の大幅な高速化により,新たな状況に十分対応できることが示される。
論文 参考訳(メタデータ) (2020-07-08T21:23:19Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。