論文の概要: How important are specialized transforms in Neural Operators?
- arxiv url: http://arxiv.org/abs/2308.09293v1
- Date: Fri, 18 Aug 2023 04:35:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 14:48:10.411014
- Title: How important are specialized transforms in Neural Operators?
- Title(参考訳): ニューラル演算子の特殊変換はどの程度重要か?
- Authors: Ritam Majumdar, Shirish Karande, Lovekesh Vig
- Abstract要約: 本稿では,変換型ニューラル演算子の成功に対する変換層の重要性について検討する。
驚いたことに、線形層は最もよく知られた変換ベースの層に匹敵する性能を提供するのに十分である。
- 参考スコア(独自算出の注目度): 9.809251473887594
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Simulating physical systems using Partial Differential Equations (PDEs) has
become an indispensible part of modern industrial process optimization.
Traditionally, numerical solvers have been used to solve the associated PDEs,
however recently Transform-based Neural Operators such as the Fourier Neural
Operator and Wavelet Neural Operator have received a lot of attention for their
potential to provide fast solutions for systems of PDEs. In this work, we
investigate the importance of the transform layers to the reported success of
transform based neural operators. In particular, we record the cost in terms of
performance, if all the transform layers are replaced by learnable linear
layers. Surprisingly, we observe that linear layers suffice to provide
performance comparable to the best-known transform-based layers and seem to do
so with a compute time advantage as well. We believe that this observation can
have significant implications for future work on Neural Operators, and might
point to other sources of efficiencies for these architectures.
- Abstract(参考訳): 偏微分方程式(PDE)を用いた物理系のシミュレーションは、現代の産業プロセス最適化において不可欠である。
伝統的に、数値解法は関連するPDEを解くために用いられてきたが、最近、フーリエニューラル演算子やウェーブレットニューラル演算子のような変換ベースのニューラル演算子は、PDEのシステムに高速な解を提供する可能性について多くの注目を集めている。
本研究は,変換型ニューラル演算子の報告された成功に対する変換層の重要性について検討する。
特に、すべての変換層が学習可能な線形層に置き換えられた場合、パフォーマンスの観点からコストを記録する。
驚いたことに、線形層は最もよく知られた変換ベースの層に匹敵する性能を提供するのに十分である。
この観察は、神経オペレーターの今後の作業に重大な影響を与える可能性があると信じており、これらのアーキテクチャの他の効率の源を指摘するかもしれない。
関連論文リスト
- Neural Operators with Localized Integral and Differential Kernels [81.66974615188359]
本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。
我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。
局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
論文 参考訳(メタデータ) (2024-02-26T18:59:31Z) - PICL: Physics Informed Contrastive Learning for Partial Differential
Equations [8.430481660019451]
一般化されたコントラスト的損失を利用した新しいコントラスト的事前学習フレームワークを開発した。
物理インフォームドコントラストプレトレーニングは、固定未来タスクにおけるフーリエニューラル演算子の精度と一般化の両方を改善する。
論文 参考訳(メタデータ) (2024-01-29T17:32:22Z) - GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。
GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。
数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文 参考訳(メタデータ) (2023-12-05T03:03:54Z) - Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。
ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
論文 参考訳(メタデータ) (2023-09-27T00:12:07Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳(メタデータ) (2023-03-06T18:59:13Z) - Physics informed WNO [0.0]
パラメトリック偏微分方程式(PDE)系の解演算子をラベル付きトレーニングデータなしで学習するための物理インフォームドウェーブレット演算子(WNO)を提案する。
このフレームワークの有効性は、工学と科学の様々な分野に関連する4つの非線形ニューラルネットワークで検証され、実証されている。
論文 参考訳(メタデータ) (2023-02-12T14:31:50Z) - Physics-guided Data Augmentation for Learning the Solution Operator of
Linear Differential Equations [2.1850269949775663]
ニューラルネットワークモデルの精度と一般化を改善するために,物理誘導型データ拡張法(PGDA)を提案する。
様々な線形微分方程式におけるPGDAの利点を実証し、PGDAがサンプルの複雑さを向上し、分布シフトに頑健であることを示す。
論文 参考訳(メタデータ) (2022-12-08T06:29:15Z) - An unsupervised latent/output physics-informed convolutional-LSTM
network for solving partial differential equations using peridynamic
differential operator [0.0]
部分微分方程式(PDE)を解く非局所相互作用をもつ非教師付き畳み込みニューラルネットワーク(NN)アーキテクチャ
PDDOは、フィールド変数の微分を評価するための畳み込みフィルタとして使用される。
NNは、エンコーダ・デコーダ層とConvLSTM(Convolutional Long-Short Term Memory)層によって、より小さな潜在空間の時間力学をキャプチャする。
論文 参考訳(メタデータ) (2022-10-21T18:09:23Z) - Frame invariance and scalability of neural operators for partial
differential equations [5.872676314924041]
偏微分方程式(PDE)は多くの複雑な力学過程の数学的モデリングにおいて支配的な役割を果たす。
トレーニング後、ニューラル演算子は従来のPDE解法よりもはるかに高速なPDEソリューションを提供することができる。
論文 参考訳(メタデータ) (2021-12-28T02:36:19Z) - Equivariant vector field network for many-body system modeling [65.22203086172019]
Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。
シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
論文 参考訳(メタデータ) (2021-10-26T14:26:25Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。