論文の概要: How important are specialized transforms in Neural Operators?

• arxiv url: http://arxiv.org/abs/2308.09293v1
• Date: Fri, 18 Aug 2023 04:35:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 14:48:10.411014
• Title: How important are specialized transforms in Neural Operators?
• Title（参考訳）: ニューラル演算子の特殊変換はどの程度重要か?
• Authors: Ritam Majumdar, Shirish Karande, Lovekesh Vig
• Abstract要約: 本稿では,変換型ニューラル演算子の成功に対する変換層の重要性について検討する。 驚いたことに、線形層は最もよく知られた変換ベースの層に匹敵する性能を提供するのに十分である。
• 参考スコア（独自算出の注目度）: 9.809251473887594
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Simulating physical systems using Partial Differential Equations (PDEs) has become an indispensible part of modern industrial process optimization. Traditionally, numerical solvers have been used to solve the associated PDEs, however recently Transform-based Neural Operators such as the Fourier Neural Operator and Wavelet Neural Operator have received a lot of attention for their potential to provide fast solutions for systems of PDEs. In this work, we investigate the importance of the transform layers to the reported success of transform based neural operators. In particular, we record the cost in terms of performance, if all the transform layers are replaced by learnable linear layers. Surprisingly, we observe that linear layers suffice to provide performance comparable to the best-known transform-based layers and seem to do so with a compute time advantage as well. We believe that this observation can have significant implications for future work on Neural Operators, and might point to other sources of efficiencies for these architectures.
• Abstract（参考訳）: 偏微分方程式(PDE)を用いた物理系のシミュレーションは、現代の産業プロセス最適化において不可欠である。 伝統的に、数値解法は関連するPDEを解くために用いられてきたが、最近、フーリエニューラル演算子やウェーブレットニューラル演算子のような変換ベースのニューラル演算子は、PDEのシステムに高速な解を提供する可能性について多くの注目を集めている。 本研究は,変換型ニューラル演算子の報告された成功に対する変換層の重要性について検討する。 特に、すべての変換層が学習可能な線形層に置き換えられた場合、パフォーマンスの観点からコストを記録する。 驚いたことに、線形層は最もよく知られた変換ベースの層に匹敵する性能を提供するのに十分である。 この観察は、神経オペレーターの今後の作業に重大な影響を与える可能性があると信じており、これらのアーキテクチャの他の効率の源を指摘するかもしれない。

関連論文リスト

• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Component Fourier Neural Operator for Singularly Perturbed Differential Equations [3.9482103923304877]
  Singularly Perturbed Differential Equations (SPDE) の解法は、薄い領域における解の急激な遷移に起因する計算上の問題を引き起こす。 本稿では、フーリエニューラル演算子(FNO)に基づく革新的な演算子学習法であるComFNOを紹介する。 私たちのアプローチはFNOに限らず、Deep Operator Network(DeepONet)など他のニューラルネットワークフレームワークにも適用可能です。
  論文  参考訳（メタデータ） (2024-09-07T09:40:51Z)
• DeltaPhi: Learning Physical Trajectory Residual for PDE Solving [54.13671100638092]
  我々は,物理軌道残差学習(DeltaPhi)を提案し,定式化する。 既存のニューラル演算子ネットワークに基づく残差演算子マッピングのサロゲートモデルについて学習する。 直接学習と比較して,PDEの解法には物理残差学習が望ましいと結論づける。
  論文  参考訳（メタデータ） (2024-06-14T07:45:07Z)
• Neural Operators with Localized Integral and Differential Kernels [77.76991758980003]
  本稿では,2つのフレームワークで局所的な特徴をキャプチャできる演算子学習の原理的アプローチを提案する。 我々はCNNのカーネル値の適切なスケーリングの下で微分演算子を得ることを示す。 局所積分演算子を得るには、離散連続的畳み込みに基づくカーネルの適切な基底表現を利用する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:31Z)
• PICL: Physics Informed Contrastive Learning for Partial Differential Equations [7.136205674624813]
  我々は,複数の支配方程式にまたがるニューラル演算子一般化を同時に改善する,新しいコントラスト事前学習フレームワークを開発する。 物理インフォームドシステムの進化と潜在空間モデル出力の組み合わせは、入力データに固定され、我々の距離関数で使用される。 物理インフォームドコントラストプレトレーニングにより,1次元および2次元熱,バーガーズ,線形対流方程式に対する固定フューチャーおよび自己回帰ロールアウトタスクにおけるフーリエニューラル演算子の精度が向上することがわかった。
  論文  参考訳（メタデータ） (2024-01-29T17:32:22Z)
• GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
  本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。 GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。 数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
  論文  参考訳（メタデータ） (2023-12-05T03:03:54Z)
• Neural Operators for Accelerating Scientific Simulations and Design [85.89660065887956]
  Neural Operatorsとして知られるAIフレームワークは、継続的ドメインで定義された関数間のマッピングを学習するための原則的なフレームワークを提供する。 ニューラルオペレータは、計算流体力学、天気予報、物質モデリングなど、多くのアプリケーションで既存のシミュレータを拡張または置き換えることができる。
  論文  参考訳（メタデータ） (2023-09-27T00:12:07Z)
• An unsupervised latent/output physics-informed convolutional-LSTM network for solving partial differential equations using peridynamic differential operator [0.0]
  部分微分方程式(PDE)を解く非局所相互作用をもつ非教師付き畳み込みニューラルネットワーク(NN)アーキテクチャ PDDOは、フィールド変数の微分を評価するための畳み込みフィルタとして使用される。 NNは、エンコーダ・デコーダ層とConvLSTM(Convolutional Long-Short Term Memory)層によって、より小さな潜在空間の時間力学をキャプチャする。
  論文  参考訳（メタデータ） (2022-10-21T18:09:23Z)
• Frame invariance and scalability of neural operators for partial differential equations [5.872676314924041]
  偏微分方程式(PDE)は多くの複雑な力学過程の数学的モデリングにおいて支配的な役割を果たす。 トレーニング後、ニューラル演算子は従来のPDE解法よりもはるかに高速なPDEソリューションを提供することができる。
  論文  参考訳（メタデータ） (2021-12-28T02:36:19Z)
• Equivariant vector field network for many-body system modeling [65.22203086172019]
  Equivariant Vector Field Network (EVFN) は、新しい同変層と関連するスカラー化およびベクトル化層に基づいて構築されている。 シミュレーションされたニュートン力学系の軌跡を全観測データと部分観測データで予測する手法について検討した。
  論文  参考訳（メタデータ） (2021-10-26T14:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。