論文の概要: Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation
- arxiv url: http://arxiv.org/abs/2406.02336v1
- Date: Tue, 4 Jun 2024 14:06:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 16:00:43.794297
- Title: Polynomial-Augmented Neural Networks (PANNs) with Weak Orthogonality Constraints for Enhanced Function and PDE Approximation
- Title（参考訳）: 拡張関数とPDE近似のための弱直交制約を持つポリノーミアル強化ニューラルネットワーク(PANNs)
- Authors: Madison Cooley, Shandian Zhe, Robert M. Kirby, Varun Shankar,
- Abstract要約: 現在拡張されたニューラルネットワーク(PANN)
本稿では、ディープニューラルネットワーク(DNN)と近似を組み合わせた新しい機械学習アーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 22.689531776611084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present polynomial-augmented neural networks (PANNs), a novel machine learning architecture that combines deep neural networks (DNNs) with a polynomial approximant. PANNs combine the strengths of DNNs (flexibility and efficiency in higher-dimensional approximation) with those of polynomial approximation (rapid convergence rates for smooth functions). To aid in both stable training and enhanced accuracy over a variety of problems, we present (1) a family of orthogonality constraints that impose mutual orthogonality between the polynomial and the DNN within a PANN; (2) a simple basis pruning approach to combat the curse of dimensionality introduced by the polynomial component; and (3) an adaptation of a polynomial preconditioning strategy to both DNNs and polynomials. We test the resulting architecture for its polynomial reproduction properties, ability to approximate both smooth functions and functions of limited smoothness, and as a method for the solution of partial differential equations (PDEs). Through these experiments, we demonstrate that PANNs offer superior approximation properties to DNNs for both regression and the numerical solution of PDEs, while also offering enhanced accuracy over both polynomial and DNN-based regression (each) when regressing functions with limited smoothness.
- Abstract（参考訳）: 本稿では,ディープニューラルネットワーク(DNN)と多項式近似を組み合わせた新しい機械学習アーキテクチャである,多項式拡張ニューラルネットワーク(PANN)を提案する。
PANNはDNNの強度(高次元近似の柔軟性と効率)と多項式近似の強度(滑らかな関数のラピッド収束率)を結合する。
様々な問題に対して, 安定トレーニングと精度の向上を両立させるため, 1) PANN内の多項式とDNNの相互直交性を規定する直交制約のファミリー, (2) 多項式成分がもたらした次元の呪いに対処する単純な基本プルーニングアプローチ, (3) 多項式プレコンディショニング戦略をDNNと多項式の両方に適用することを提案する。
本研究では, 多項式の再現性, 滑らかな関数と有限な滑らかさの関数を近似する能力, および偏微分方程式(PDE)の解法について検討する。
これらの実験を通して、PANNは回帰とPDEの数値解の両方に対してDNNに優れた近似特性を提供し、また、滑らか性に制限された回帰関数の場合、多項式とDNNに基づく回帰(each)の両方に対して精度が向上することを示した。
関連論文リスト
- Functional Tensor Decompositions for Physics-Informed Neural Networks [8.66932181641177]
物理インフォームドニューラルネットワーク(PINN)は、偏微分方程式(PDE)の近似において連続的かつ増加する公約を示した。
本稿では,古典変数分離法を一般化したPINNバージョンを提案する。
提案手法は,複雑な高次元PDEの性能向上により,PINNの性能を著しく向上させる。
論文 参考訳（メタデータ） (2024-08-23T14:24:43Z) - RoPINN: Region Optimized Physics-Informed Neural Networks [66.38369833561039]
物理インフォームドニューラルネットワーク(PINN)は偏微分方程式(PDE)の解法として広く応用されている。
本稿では,地域最適化としての新たな訓練パラダイムを提案し,理論的に検討する。
実践的なトレーニングアルゴリズムであるRerea Optimized PINN(RoPINN)は、この新しいパラダイムからシームレスに派生している。
論文 参考訳（メタデータ） (2024-05-23T09:45:57Z) - Learning Traveling Solitary Waves Using Separable Gaussian Neural
Networks [0.9065034043031668]
偏微分方程式(PDE)の様々なファミリをまたいだ走行する孤立波の学習に機械学習アプローチを適用する。
我々のアプローチは、新しい解釈可能なニューラルネットワーク(NN)アーキテクチャを物理情報ニューラルネットワーク(PINN)の枠組みに統合する。
論文 参考訳（メタデータ） (2024-03-07T20:16:18Z) - MRF-PINN: A Multi-Receptive-Field convolutional physics-informed neural
network for solving partial differential equations [6.285167805465505]
物理インフォームドニューラルネットワーク(PINN)は、従来の偏微分方程式(PDE)の解法よりも開発コストと解決コストを低減できる。
パラメータ共有、空間的特徴抽出、低推論コストの利点により、畳み込みニューラルネットワーク(CNN)はPINNでますます利用されている。
論文 参考訳（メタデータ） (2022-09-06T12:26:22Z) - Learning differentiable solvers for systems with hard constraints [48.54197776363251]
ニューラルネットワーク(NN)によって定義される関数に対する偏微分方程式(PDE)制約を強制する実践的手法を提案する。
我々は、任意のNNアーキテクチャに組み込むことができる微分可能なPDE制約層を開発した。
その結果、NNアーキテクチャに直接ハード制約を組み込むことで、制約のない目的のトレーニングに比べてテストエラーがはるかに少ないことがわかった。
論文 参考訳（メタデータ） (2022-07-18T15:11:43Z) - A mixed formulation for physics-informed neural networks as a potential
solver for engineering problems in heterogeneous domains: comparison with
finite element method [0.0]
物理インフォームドニューラルネットワーク(PINN)は、与えられた境界値問題の解を見つけることができる。
工学的問題における既存のPINNの性能を高めるために,有限要素法(FEM)からいくつかのアイデアを取り入れた。
論文 参考訳（メタデータ） (2022-06-27T08:18:08Z) - Learning Physics-Informed Neural Networks without Stacked
Back-propagation [82.26566759276105]
我々は,物理インフォームドニューラルネットワークのトレーニングを著しく高速化する新しい手法を開発した。
特に、ガウス滑らか化モデルによりPDE解をパラメータ化し、スタインの恒等性から導かれる2階微分がバックプロパゲーションなしで効率的に計算可能であることを示す。
実験の結果,提案手法は通常のPINN訓練に比べて2桁の精度で競合誤差を実現できることがわかった。
論文 参考訳（メタデータ） (2022-02-18T18:07:54Z) - Message Passing Neural PDE Solvers [60.77761603258397]
我々は、バックプロップ最適化されたニューラル関数近似器で、グラフのアリーデザインのコンポーネントを置き換えるニューラルメッセージパッシング解決器を構築した。
本稿では, 有限差分, 有限体積, WENOスキームなどの古典的手法を表現的に含んでいることを示す。
本研究では, 異なる領域のトポロジ, 方程式パラメータ, 離散化などにおける高速, 安定, 高精度な性能を, 1次元, 2次元で検証する。
論文 参考訳（メタデータ） (2022-02-07T17:47:46Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - PDE constraints on smooth hierarchical functions computed by neural
networks [0.0]
ディープニューラルネットワーク理論における重要な問題は、表現性である。
フィードフォワードニューラルネットワークによって実装された実無限微分可能(滑らか)階層関数について検討する。
このようなPDE制約は、一旦適切な非特異性条件を伴って、考慮中の滑らかな関数をネットワークで表現できることを保証する。
論文 参考訳（メタデータ） (2020-05-18T16:34:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。