論文の概要: Connections between Numerical Algorithms for PDEs and Neural Networks
- arxiv url: http://arxiv.org/abs/2107.14742v1
- Date: Fri, 30 Jul 2021 16:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 12:48:55.128738
- Title: Connections between Numerical Algorithms for PDEs and Neural Networks
- Title(参考訳): PDEの数値アルゴリズムとニューラルネットワークの接続
- Authors: Tobias Alt, Karl Schrader, Matthias Augustin, Pascal Peter, Joachim
Weickert
- Abstract要約: 偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
- 参考スコア(独自算出の注目度): 8.660429288575369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate numerous structural connections between numerical algorithms
for partial differential equations (PDEs) and neural architectures. Our goal is
to transfer the rich set of mathematical foundations from the world of PDEs to
neural networks. Besides structural insights we provide concrete examples and
experimental evaluations of the resulting architectures. Using the example of
generalised nonlinear diffusion in 1D, we consider explicit schemes,
acceleration strategies thereof, implicit schemes, and multigrid approaches. We
connect these concepts to residual networks, recurrent neural networks, and
U-net architectures. Our findings inspire a symmetric residual network design
with provable stability guarantees and justify the effectiveness of skip
connections in neural networks from a numerical perspective. Moreover, we
present U-net architectures that implement multigrid techniques for learning
efficient solutions of partial differential equation models, and motivate
uncommon design choices such as trainable nonmonotone activation functions.
Experimental evaluations show that the proposed architectures save half of the
trainable parameters and can thus outperform standard ones with the same model
complexity. Our considerations serve as a basis for explaining the success of
popular neural architectures and provide a blueprint for developing new
mathematically well-founded neural building blocks.
- Abstract(参考訳): 偏微分方程式(PDE)の数値アルゴリズムとニューラルアーキテクチャの多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
構造的な洞察に加えて、結果のアーキテクチャの具体的な例と実験的な評価も提供します。
1d における一般化された非線形拡散の例を用いて,明示的なスキーム,その加速戦略,暗黙的スキーム,マルチグリッドアプローチを考える。
これらの概念を残留ネットワーク、リカレントニューラルネットワーク、u-netアーキテクチャに接続する。
本研究は,安定性を保証し,数値的な観点からニューラルネットワークにおけるスキップ接続の有効性を正当化するための,対称的残差ネットワーク設計を刺激する。
さらに,偏微分方程式モデルの効率的な解法を学習するために,マルチグリッド手法を実装したu-netアーキテクチャを提案する。
実験により、提案アーキテクチャはトレーニング可能なパラメータの半分を節約し、同じモデルの複雑さで標準的なパラメータより優れた性能を発揮することが示された。
我々の考察は、一般的なニューラルアーキテクチャの成功を説明する基礎となり、数学的に確立された新しいニューラルビルディングブロックを開発するための青写真を提供する。
関連論文リスト
- Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳(メタデータ) (2024-02-20T15:23:24Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳(メタデータ) (2023-01-24T08:39:20Z) - Quiver neural networks [5.076419064097734]
ニューラルネットワーク接続アーキテクチャの解析に対する一様理論的アプローチを開発する。
数学におけるquiver表現理論にインスパイアされたこのアプローチは、精巧なデータフローを捉えるためのコンパクトな方法を与える。
論文 参考訳(メタデータ) (2022-07-26T09:42:45Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳(メタデータ) (2022-04-15T10:45:26Z) - Polynomial-Spline Neural Networks with Exact Integrals [0.0]
我々は,実験モデルの混合と自由結び目B1-スプライン基底関数を組み合わせた新しいニューラルネットワークアーキテクチャを開発した。
我々のアーキテクチャは近似理論から期待される収束率での回帰問題に対する$h$-および$p$-の洗練を示す。
ネットワークアーキテクチャの一貫性と正確な統合性を示す様々な回帰問題と変分問題において、我々のネットワークの成功を実証する。
論文 参考訳(メタデータ) (2021-10-26T22:12:37Z) - Translating Numerical Concepts for PDEs into Neural Architectures [9.460896836770534]
数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。
数値的には、1次元の一般的な高次非線形拡散方程式に対する明示的、加速的、暗黙的スキームを考える。
ニューラルネットワーク側では、残存ネットワーク(ResNets)、リカレントネットワーク、Uネットの観点で対応する概念を特定します。
論文 参考訳(メタデータ) (2021-03-29T08:31:51Z) - Differentiable Neural Architecture Learning for Efficient Neural Network
Design [31.23038136038325]
スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。
そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
論文 参考訳(メタデータ) (2021-03-03T02:03:08Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳(メタデータ) (2021-02-25T17:45:50Z) - NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。
我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。
既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文 参考訳(メタデータ) (2020-08-26T17:59:36Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。