論文の概要: Connections between Numerical Algorithms for PDEs and Neural Networks
- arxiv url: http://arxiv.org/abs/2107.14742v1
- Date: Fri, 30 Jul 2021 16:42:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-02 12:48:55.128738
- Title: Connections between Numerical Algorithms for PDEs and Neural Networks
- Title（参考訳）: PDEの数値アルゴリズムとニューラルネットワークの接続
- Authors: Tobias Alt, Karl Schrader, Matthias Augustin, Pascal Peter, Joachim
Weickert
- Abstract要約: 偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
- 参考スコア（独自算出の注目度）: 8.660429288575369
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate numerous structural connections between numerical algorithms
for partial differential equations (PDEs) and neural architectures. Our goal is
to transfer the rich set of mathematical foundations from the world of PDEs to
neural networks. Besides structural insights we provide concrete examples and
experimental evaluations of the resulting architectures. Using the example of
generalised nonlinear diffusion in 1D, we consider explicit schemes,
acceleration strategies thereof, implicit schemes, and multigrid approaches. We
connect these concepts to residual networks, recurrent neural networks, and
U-net architectures. Our findings inspire a symmetric residual network design
with provable stability guarantees and justify the effectiveness of skip
connections in neural networks from a numerical perspective. Moreover, we
present U-net architectures that implement multigrid techniques for learning
efficient solutions of partial differential equation models, and motivate
uncommon design choices such as trainable nonmonotone activation functions.
Experimental evaluations show that the proposed architectures save half of the
trainable parameters and can thus outperform standard ones with the same model
complexity. Our considerations serve as a basis for explaining the success of
popular neural architectures and provide a blueprint for developing new
mathematically well-founded neural building blocks.
- Abstract（参考訳）: 偏微分方程式(PDE)の数値アルゴリズムとニューラルアーキテクチャの多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
構造的な洞察に加えて、結果のアーキテクチャの具体的な例と実験的な評価も提供します。
1d における一般化された非線形拡散の例を用いて,明示的なスキーム,その加速戦略,暗黙的スキーム,マルチグリッドアプローチを考える。
これらの概念を残留ネットワーク、リカレントニューラルネットワーク、u-netアーキテクチャに接続する。
本研究は,安定性を保証し,数値的な観点からニューラルネットワークにおけるスキップ接続の有効性を正当化するための,対称的残差ネットワーク設計を刺激する。
さらに,偏微分方程式モデルの効率的な解法を学習するために,マルチグリッド手法を実装したu-netアーキテクチャを提案する。
実験により、提案アーキテクチャはトレーニング可能なパラメータの半分を節約し、同じモデルの複雑さで標準的なパラメータより優れた性能を発揮することが示された。
我々の考察は、一般的なニューラルアーキテクチャの成功を説明する基礎となり、数学的に確立された新しいニューラルビルディングブロックを開発するための青写真を提供する。
関連論文リスト
- Enhancing Convolutional Neural Networks with Higher-Order Numerical Difference Methods [6.26650196870495]
畳み込みニューラルネットワーク(CNN)は、人間が多くの現実世界の問題を解決するのを助けることができる。
本稿では,CNNの性能向上を目的とした線形多段階法に基づく重ね合わせ手法を提案する。
論文 参考訳（メタデータ） (2024-09-08T05:13:58Z) - Enhancing lattice kinetic schemes for fluid dynamics with Lattice-Equivariant Neural Networks [79.16635054977068]
我々はLattice-Equivariant Neural Networks (LENNs)と呼ばれる新しい同変ニューラルネットワークのクラスを提案する。
我々の手法は、ニューラルネットワークに基づく代理モデルLattice Boltzmann衝突作用素の学習を目的とした、最近導入されたフレームワーク内で開発されている。
本研究は,実世界のシミュレーションにおける機械学習強化Lattice Boltzmann CFDの実用化に向けて展開する。
論文 参考訳（メタデータ） (2024-05-22T17:23:15Z) - Systematic construction of continuous-time neural networks for linear dynamical systems [0.0]
本稿では,動的システムのサブクラスをモデル化するためのニューラルネットワーク構築の体系的アプローチについて論じる。
我々は、各ニューロンの出力が1次または2次常微分方程式(ODE)の解として連続的に進化する連続時間ニューラルネットワークの変種を用いる。
データからネットワークアーキテクチャとパラメータを導出する代わりに、所定のLTIシステムから直接スパースアーキテクチャとネットワークパラメータを計算するための勾配のないアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-24T16:16:41Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - Universal approximation property of invertible neural networks [76.95927093274392]
Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。
その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
論文 参考訳（メタデータ） (2022-04-15T10:45:26Z) - Polynomial-Spline Neural Networks with Exact Integrals [0.0]
我々は,実験モデルの混合と自由結び目B1-スプライン基底関数を組み合わせた新しいニューラルネットワークアーキテクチャを開発した。
我々のアーキテクチャは近似理論から期待される収束率での回帰問題に対する$h$-および$p$-の洗練を示す。
ネットワークアーキテクチャの一貫性と正確な統合性を示す様々な回帰問題と変分問題において、我々のネットワークの成功を実証する。
論文 参考訳（メタデータ） (2021-10-26T22:12:37Z) - Translating Numerical Concepts for PDEs into Neural Architectures [9.460896836770534]
数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。
数値的には、1次元の一般的な高次非線形拡散方程式に対する明示的、加速的、暗黙的スキームを考える。
ニューラルネットワーク側では、残存ネットワーク(ResNets)、リカレントネットワーク、Uネットの観点で対応する概念を特定します。
論文 参考訳（メタデータ） (2021-03-29T08:31:51Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳（メタデータ） (2021-02-25T17:45:50Z) - NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。
我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。
既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文 参考訳（メタデータ） (2020-08-26T17:59:36Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。