論文の概要: Translating Numerical Concepts for PDEs into Neural Architectures
- arxiv url: http://arxiv.org/abs/2103.15419v1
- Date: Mon, 29 Mar 2021 08:31:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-30 14:32:10.205652
- Title: Translating Numerical Concepts for PDEs into Neural Architectures
- Title(参考訳): PDEの数値概念をニューラルネットワークに変換する
- Authors: Tobias Alt, Pascal Peter, Joachim Weickert, Karl Schrader
- Abstract要約: 数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。
数値的には、1次元の一般的な高次非線形拡散方程式に対する明示的、加速的、暗黙的スキームを考える。
ニューラルネットワーク側では、残存ネットワーク(ResNets)、リカレントネットワーク、Uネットの観点で対応する概念を特定します。
- 参考スコア(独自算出の注目度): 9.460896836770534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate what can be learned from translating numerical algorithms into
neural networks. On the numerical side, we consider explicit, accelerated
explicit, and implicit schemes for a general higher order nonlinear diffusion
equation in 1D, as well as linear multigrid methods. On the neural network
side, we identify corresponding concepts in terms of residual networks
(ResNets), recurrent networks, and U-nets. These connections guarantee
Euclidean stability of specific ResNets with a transposed convolution layer
structure in each block. We present three numerical justifications for skip
connections: as time discretisations in explicit schemes, as extrapolation
mechanisms for accelerating those methods, and as recurrent connections in
fixed point solvers for implicit schemes. Last but not least, we also motivate
uncommon design choices such as nonmonotone activation functions. Our findings
give a numerical perspective on the success of modern neural network
architectures, and they provide design criteria for stable networks.
- Abstract(参考訳): 数値アルゴリズムをニューラルネットワークに翻訳することで何が学べるかを検討する。
数値的には、1次元の一般的な高次非線形拡散方程式と線形マルチグリッド法について、明示的、加速的、暗黙的スキームを考える。
ニューラルネットワーク側では、残余ネットワーク(ResNet)、再帰ネットワーク、U-netの観点で対応する概念を識別する。
これらの接続は、各ブロックに変換された畳み込み層構造を持つ特定のresnetのユークリッド安定性を保証する。
スキップ接続の3つの数値的正当性を示す: 明示的なスキームにおける時間的離散化、それらのメソッドを加速するための外挿機構、および暗黙的スキームのための不動点解法における再帰接続。
最後に、非単調なアクティベーション関数のような一般的な設計選択も動機付けます。
この結果は,現代のニューラルネットワークアーキテクチャの成功に関する数値的な視点を与え,安定なネットワークの設計基準を提供する。
関連論文リスト
- Implicit regularization of deep residual networks towards neural ODEs [6.032210328417744]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳(メタデータ) (2023-09-03T16:35:59Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳(メタデータ) (2023-06-04T08:53:27Z) - Simple initialization and parametrization of sinusoidal networks via
their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。
まず,このような正弦波ニューラルネットワークの簡易版を提案する。
次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文 参考訳(メタデータ) (2022-11-26T07:41:48Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳(メタデータ) (2022-08-08T03:13:24Z) - Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
論文 参考訳(メタデータ) (2021-07-30T16:42:45Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - SPINN: Sparse, Physics-based, and Interpretable Neural Networks for PDEs [0.0]
Sparse, Physics-based, and Interpretable Neural Networks (SPINN) のクラスを導入し,一般微分方程式と部分微分方程式を解く。
従来のPDEのソリューションのメッシュレス表現を特別なスパースディープニューラルネットワークとして再解釈することにより、解釈可能なスパースニューラルネットワークアーキテクチャのクラスを開発する。
論文 参考訳(メタデータ) (2021-02-25T17:45:50Z) - Analytical aspects of non-differentiable neural networks [0.0]
本稿では、量子化されたニューラルネットワークの表現性と、微分不可能なネットワークに対する近似手法について論じる。
ここでは,QNN が DNN と同じ表現性を持つことを示す。
また,Heaviside型アクティベーション関数を用いて定義されたネットワークについても検討し,スムーズなネットワークによるポイントワイズ近似の結果を証明した。
論文 参考訳(メタデータ) (2020-11-03T17:20:43Z) - On reaction network implementations of neural networks [0.0]
本稿では,(フィードフォワード)ニューラルネットワークの実装に決定論的にモデル化された化学反応ネットワークの利用について述べる。
ニューラルネットワークのある種の反応ネットワーク実装に付随する常微分方程式(ODE)が望ましい性質を持つことを示す。
論文 参考訳(メタデータ) (2020-10-26T02:37:26Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。