論文の概要: Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs

• arxiv url: http://arxiv.org/abs/2101.08366v2
• Date: Thu, 28 Jan 2021 01:51:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-03-22 01:16:55.971231
• Title: Quadratic Residual Networks: A New Class of Neural Networks for Solving Forward and Inverse Problems in Physics Involving PDEs
• Title（参考訳）: 二次残留ネットワーク:PDEを含む物理学における前方および逆問題の解法のためのニューラルネットワークの新しいクラス
• Authors: Jie Bu, Anuj Karpatne
• Abstract要約: quadratic residual networks (qres) は新しいタイプのパラメータ効率の良いニューラルネットワークアーキテクチャである。 QRは偏微分方程式(PDE)を含む前方および逆物理問題を解くのに特に強力であることを示す。 実験により,特に複雑なパターンの学習において,qreは学習回数の点で収束速度が速いことを示した。
• 参考スコア（独自算出の注目度）: 2.8718027848324317
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We propose quadratic residual networks (QRes) as a new type of parameter-efficient neural network architecture, by adding a quadratic residual term to the weighted sum of inputs before applying activation functions. With sufficiently high functional capacity (or expressive power), we show that it is especially powerful for solving forward and inverse physics problems involving partial differential equations (PDEs). Using tools from algebraic geometry, we theoretically demonstrate that, in contrast to plain neural networks, QRes shows better parameter efficiency in terms of network width and depth thanks to higher non-linearity in every neuron. Finally, we empirically show that QRes shows faster convergence speed in terms of number of training epochs especially in learning complex patterns.
• Abstract（参考訳）: 活性化関数を適用する前に入力の重み付け和に2次残差項を追加することにより、パラメータ効率のよいニューラルネットアーキテクチャの新たなタイプとして2次残差ネットワーク(QRes)を提案する。 十分に高い機能能力(あるいは表現力)で、偏微分方程式(PDE)を含む前方および逆物理問題を解くには特に強力であることを示す。 代数幾何学のツールを用いて、従来のニューラルネットワークとは対照的に、qreは各ニューロンの非線形性が高いため、ネットワーク幅と深さの点でより良いパラメータ効率を示すことを理論的に証明する。 最後に、特に複雑なパターンの学習において、qreはトレーニング回数の点で収束速度が速いことを実証的に示す。

関連論文リスト

• GradINN: Gradient Informed Neural Network [2.287415292857564]
  物理情報ニューラルネットワーク(PINN)にヒントを得た手法を提案する。 GradINNは、システムの勾配に関する事前の信念を利用して、予測関数の勾配を全ての入力次元にわたって制限する。 非時間依存システムにまたがる多様な問題に対するGradINNの利点を実証する。
  論文  参考訳（メタデータ） (2024-09-03T14:03:29Z)
• Grad-Shafranov equilibria via data-free physics informed neural networks [0.0]
  PINNはいくつかの異なる境界条件でGrad-Shafranov方程式を正確かつ効果的に解くことができることを示す。 パラメータ化PINNフレームワークを導入し、入力空間を圧力、アスペクト比、伸長、三角度などの変数を含むように拡張する。
  論文  参考訳（メタデータ） (2023-11-22T16:08:38Z)
• HyperLoRA for PDEs [7.898728380447954]
  物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式の解に対するニューラルネットワークの開発に広く用いられている。 PINNの欠点は、初期境界条件やPDE係数の変化に応じて再訓練する必要があることである。 モデルベースのメタ学習技術であるHypernetworkは、パラメータ化されたタスクを入力として埋め込み、PINNの重みを出力として予測する。
  論文  参考訳（メタデータ） (2023-08-18T04:29:48Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Neural Basis Functions for Accelerating Solutions to High Mach Euler Equations [63.8376359764052]
  ニューラルネットワークを用いた偏微分方程式(PDE)の解法を提案する。 ニューラルネットワークの集合を縮小順序 Proper Orthogonal Decomposition (POD) に回帰する。 これらのネットワークは、所定のPDEのパラメータを取り込み、PDEに還元順序近似を計算する分岐ネットワークと組み合わせて使用される。
  論文  参考訳（メタデータ） (2022-08-02T18:27:13Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Scaling Properties of Deep Residual Networks [2.6763498831034043]
  勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。 神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。 これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
  論文  参考訳（メタデータ） (2021-05-25T22:31:30Z)
• Physics-informed attention-based neural network for solving non-linear partial differential equations [6.103365780339364]
  物理情報ニューラルネットワーク(PINN)は、物理プロセスのモデリングにおいて大幅な改善を実現しました。 PINNは単純なアーキテクチャに基づいており、ネットワークパラメータを最適化することで複雑な物理システムの振る舞いを学習し、基礎となるPDEの残余を最小限に抑える。 ここでは、非線形PDEの複雑な振る舞いを学ぶのに、どのネットワークアーキテクチャが最適かという問題に対処する。
  論文  参考訳（メタデータ） (2021-05-17T14:29:08Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。