Fugu-MT 論文翻訳(概要): Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs

論文の概要: Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs

arxiv url: http://arxiv.org/abs/2101.08366v2
Date: Thu, 28 Jan 2021 01:51:50 GMT
ステータス: 処理完了
システム内更新日: 2021-03-22 01:16:55.971231
Title: Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs
Title（参考訳）: 二次残留ネットワーク:PDEを含む物理学における前方および逆問題の解法のためのニューラルネットワークの新しいクラス
Authors: Jie Bu, Anuj Karpatne
Abstract要約: quadratic residual networks (qres) は新しいタイプのパラメータ効率の良いニューラルネットワークアーキテクチャである。 QRは偏微分方程式(PDE)を含む前方および逆物理問題を解くのに特に強力であることを示す。実験により,特に複雑なパターンの学習において,qreは学習回数の点で収束速度が速いことを示した。
参考スコア（独自算出の注目度）: 2.8718027848324317
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: We propose quadratic residual networks (QRes) as a new type of parameter-efficient neural network architecture, by adding a quadratic residual term to the weighted sum of inputs before applying activation functions. With sufficiently high functional capacity (or expressive power), we show that it is especially powerful for solving forward and inverse physics problems involving partial differential equations (PDEs). Using tools from algebraic geometry, we theoretically demonstrate that, in contrast to plain neural networks, QRes shows better parameter efficiency in terms of network width and depth thanks to higher non-linearity in every neuron. Finally, we empirically show that QRes shows faster convergence speed in terms of number of training epochs especially in learning complex patterns.
Abstract（参考訳）: 活性化関数を適用する前に入力の重み付け和に2次残差項を追加することにより、パラメータ効率のよいニューラルネットアーキテクチャの新たなタイプとして2次残差ネットワーク(QRes)を提案する。十分に高い機能能力(あるいは表現力)で、偏微分方程式(PDE)を含む前方および逆物理問題を解くには特に強力であることを示す。代数幾何学のツールを用いて、従来のニューラルネットワークとは対照的に、qreは各ニューロンの非線形性が高いため、ネットワーク幅と深さの点でより良いパラメータ効率を示すことを理論的に証明する。最後に、特に複雑なパターンの学習において、qreはトレーニング回数の点で収束速度が速いことを実証的に示す。