論文の概要: Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs

• arxiv url: http://arxiv.org/abs/2101.08366v2
• Date: Thu, 28 Jan 2021 01:51:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 01:16:55.971231
• Title: Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs
• Title（参考訳）: 二次残留ネットワーク:PDEを含む物理学における前方および逆問題の解法のためのニューラルネットワークの新しいクラス
• Authors: Jie Bu, Anuj Karpatne
• Abstract要約: quadratic residual networks (qres) は新しいタイプのパラメータ効率の良いニューラルネットワークアーキテクチャである。 QRは偏微分方程式(PDE)を含む前方および逆物理問題を解くのに特に強力であることを示す。 実験により,特に複雑なパターンの学習において,qreは学習回数の点で収束速度が速いことを示した。
• 参考スコア（独自算出の注目度）: 2.8718027848324317
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose quadratic residual networks (QRes) as a new type of parameter-efficient neural network architecture, by adding a quadratic residual term to the weighted sum of inputs before applying activation functions. With sufficiently high functional capacity (or expressive power), we show that it is especially powerful for solving forward and inverse physics problems involving partial differential equations (PDEs). Using tools from algebraic geometry, we theoretically demonstrate that, in contrast to plain neural networks, QRes shows better parameter efficiency in terms of network width and depth thanks to higher non-linearity in every neuron. Finally, we empirically show that QRes shows faster convergence speed in terms of number of training epochs especially in learning complex patterns.
• Abstract（参考訳）: 活性化関数を適用する前に入力の重み付け和に2次残差項を追加することにより、パラメータ効率のよいニューラルネットアーキテクチャの新たなタイプとして2次残差ネットワーク(QRes)を提案する。 十分に高い機能能力(あるいは表現力)で、偏微分方程式(PDE)を含む前方および逆物理問題を解くには特に強力であることを示す。 代数幾何学のツールを用いて、従来のニューラルネットワークとは対照的に、qreは各ニューロンの非線形性が高いため、ネットワーク幅と深さの点でより良いパラメータ効率を示すことを理論的に証明する。 最後に、特に複雑なパターンの学習において、qreはトレーニング回数の点で収束速度が速いことを実証的に示す。

関連論文リスト

• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Learning Physics-Informed Neural Networks without Stacked Back-propagation [82.26566759276105]
  我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。 特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。 実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
  論文  参考訳（メタデータ） (2022-02-18T18:07:54Z)
• Message Passing Neural PDE Solvers [60.77761603258397]
  偏微分方程式(PDE)の数値解は困難であり、これまでの1世紀にわたる研究に繋がった。 近年、ニューラルネットワークと数値のハイブリッド・ソルバの構築が推進されており、これは現代のエンドツーエンドの学習システムへのトレンドを後押ししている。 この研究では、すべてのコンポーネントがニューラルメッセージパッシングに基づいて、これらの特性を満たす解決器を構築します。 本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
  論文  参考訳（メタデータ） (2022-02-07T17:47:46Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs [8.220908558735884]
  偏微分方程式 (Partial differential equation, PDE) は、幅広い分野の問題をモデル化し、シミュレーションする上で基礎的な役割を果たす。 近年のディープラーニングの進歩は、データ駆動逆解析の基盤としてPDEを解くために物理学インフォームドニューラルネットワーク(NN)の大きな可能性を示している。 本稿では,PDEをラベル付きデータなしで解くための物理インフォームド・畳み込み学習アーキテクチャ(PhyCRNetとPhCRyNet-s)を提案する。
  論文  参考訳（メタデータ） (2021-06-26T22:22:19Z)
• Scaling Properties of Deep Residual Networks [2.6763498831034043]
  勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。 神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。 これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
  論文  参考訳（メタデータ） (2021-05-25T22:31:30Z)
• Physics-informed attention-based neural network for solving non-linear partial differential equations [6.103365780339364]
  物理情報ニューラルネットワーク(PINN)は、物理プロセスのモデリングにおいて大幅な改善を実現しました。 PINNは単純なアーキテクチャに基づいており、ネットワークパラメータを最適化することで複雑な物理システムの振る舞いを学習し、基礎となるPDEの残余を最小限に抑える。 ここでは、非線形PDEの複雑な振る舞いを学ぶのに、どのネットワークアーキテクチャが最適かという問題に対処する。
  論文  参考訳（メタデータ） (2021-05-17T14:29:08Z)
• On the Pareto Front of Physics-Informed Neural Networks [7.41244589428771]
  本稿では,物理インフォームドニューラルネットワークのトレーニングプロセスについて光を当てる。 本稿では,多目的最適化におけるシステムパラメータの役割を示す。
  論文  参考訳（メタデータ） (2021-05-03T13:47:45Z)
• Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
  メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。 本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
  論文  参考訳（メタデータ） (2021-04-07T03:50:11Z)
• dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
  ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。 我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
  論文  参考訳（メタデータ） (2021-03-15T19:14:41Z)
• Infinite-dimensional Folded-in-time Deep Neural Networks [0.0]
  本研究では,より厳密な数学的解析を可能にする無限次元一般化を提案する。 また,重みの降下訓練を可能にする機能的バックプロパゲーションアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-01-08T11:30:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。