論文の概要: Ensemble and Mixture-of-Experts DeepONets For Operator Learning
- arxiv url: http://arxiv.org/abs/2405.11907v4
- Date: Wed, 02 Oct 2024 02:44:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 12:41:30.832421
- Title: Ensemble and Mixture-of-Experts DeepONets For Operator Learning
- Title（参考訳）: Ensemble and Mixture-of-Experts DeepONets for Operator Learning
- Authors: Ramansh Sharma, Varun Shankar,
- Abstract要約: 本稿では,演算子学習のための新しいディープ演算子ネットワーク(DeepONet)アーキテクチャを提案する。
アンサンブルのDeepONetは、1つのDeepONetのトランクネットワークを複数の異なるトランクネットワークで強化することを可能にする。
また,DeepONetトランクネットワークアーキテクチャの空間混合(MoE)について述べる。
- 参考スコア（独自算出の注目度）: 4.604003661048267
- License:
- Abstract: We present a novel deep operator network (DeepONet) architecture for operator learning, the ensemble DeepONet, that allows for enriching the trunk network of a single DeepONet with multiple distinct trunk networks. This trunk enrichment allows for greater expressivity and generalization capabilities over a range of operator learning problems. We also present a spatial mixture-of-experts (MoE) DeepONet trunk network architecture that utilizes a partition-of-unity (PoU) approximation to promote spatial locality and model sparsity in the operator learning problem. We first prove that both the ensemble and PoU-MoE DeepONets are universal approximators. We then demonstrate that ensemble DeepONets containing a trunk ensemble of a standard trunk, the PoU-MoE trunk, and/or a proper orthogonal decomposition (POD) trunk can achieve 2-4x lower relative $\ell_2$ errors than standard DeepONets and POD-DeepONets on both standard and challenging new operator learning problems involving partial differential equations (PDEs) in two and three dimensions. Our new PoU-MoE formulation provides a natural way to incorporate spatial locality and model sparsity into any neural network architecture, while our new ensemble DeepONet provides a powerful and general framework for incorporating basis enrichment in scientific machine learning architectures for operator learning.
- Abstract（参考訳）: 演算子学習のための新しいディープ演算子ネットワーク(DeepONet)アーキテクチャであるアンサンブルDeepONetを提案する。
このトランク濃縮により、様々な演算子学習問題に対する表現性と一般化能力が向上する。
また,演算子学習問題における空間的局所性やモデル空間性を促進するために,PoU近似を用いた空間的混合(MoE)DeepONetトランクネットワークアーキテクチャを提案する。
我々はまず、アンサンブルとPoU-MoE DeepONetsの両方が普遍近似器であることを証明した。
次に、標準トランク、PoU-MoEトランク、および/または適切な直交分解(POD)トランクのトランクアンサンブルを含むDeepONetsが、標準DeepONetsおよびPOD-DeepONetsよりも2～4倍低い相対的な$\ell_2$エラーを、2次元および3次元の偏微分方程式(PDE)を含む新しい演算子学習問題において達成できることを実証した。
新しいPoU-MoEの定式化は、任意のニューラルネットワークアーキテクチャに空間的局所性とモデル空間を組み込む自然な方法を提供する一方、新たなアンサンブルであるDeepONetは、演算子学習のための科学機械学習アーキテクチャに基礎を組み込むための強力で一般的なフレームワークを提供する。
関連論文リスト
- Nonlinear model reduction for operator learning [1.0364028373854508]
本稿では,ニューラルネットワークとカーネル主成分分析(KPCA)を組み合わせた演算子学習のための効率的なフレームワークを提案する。
本結果は,POD-DeepONetよりもKPCA-DeepONetの方が優れていることを示す。
論文 参考訳（メタデータ） (2024-03-27T16:24:26Z) - Depth Separation in Norm-Bounded Infinite-Width Neural Networks [55.21840159087921]
無限幅ニューラルネットワークでは,重みの総和$ell$-normで複雑性を制御できる。
本稿では,標準制御深度3ReLUネットワークによる入力次元のサンプル複雑性を学習可能な関数が存在するが,標準制御深度2ReLUネットワークによるサブ指数サンプル複雑性では学習できないことを示す。
論文 参考訳（メタデータ） (2024-02-13T21:26:38Z) - On the non-universality of deep learning: quantifying the cost of
symmetry [24.86176236641865]
雑音勾配降下法(GD)で学習したニューラルネットワークによる学習の計算限界を証明する。
我々は、完全接続ネットワークが二進ハイパーキューブと単位球上で弱学習できる機能の特徴付けを行う。
我々の手法は勾配降下(SGD)に拡張され、完全に接続されたネットワークで学習するための非自明な結果を示す。
論文 参考訳（メタデータ） (2022-08-05T11:54:52Z) - Multifidelity deep neural operators for efficient learning of partial
differential equations with application to fast inverse design of nanoscale
heat transport [2.512625172084287]
深部演算子ネットワーク(DeepONet)に基づく多要素ニューラル演算子の開発
多重忠実度DeepONetは、要求される高忠実度データの量を大幅に削減し、同じ量の高忠実度データを使用する場合の1桁の誤差を1桁小さくする。
ナノスケール熱輸送を計算するためのフレームワークであるフォノンボルツマン輸送方程式 (BTE) の学習に多要素DeepONetを適用した。
論文 参考訳（メタデータ） (2022-04-14T01:01:24Z) - Enhanced DeepONet for Modeling Partial Differential Operators
Considering Multiple Input Functions [5.819397109258169]
偏微分方程式(PDE)に対する一般非線形連続作用素をモデル化するディープネットワーク演算子(DeepONet)が提案された。
既存のDeepONetは1つの入力関数しか受け付けないため、アプリケーションに制限がある。
本稿では、2つの入力関数を2つの分枝サブネットワークで表現する拡張DeepONetまたはEDeepONet高レベルニューラルネットワーク構造を提案する。
2つの偏微分方程式の例をモデル化した結果、提案した拡張DeepONetは約7X-17Xであり、完全に連結されたニューラルネットワークよりも約1桁精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-02-17T23:58:23Z) - S2R-DepthNet: Learning a Generalizable Depth-specific Structural
Representation [63.58891781246175]
人間はリアルなイメージではなくスケッチからシーンの3次元幾何学を推測することができ、空間構造がシーンの深さを理解する上で基本的な役割を果たすことを示す。
我々は,深度推定に不可欠な特徴を捉え,無関係なスタイル情報を無視する,深度特異的な構造表現の学習を初めて行う。
当社のS2R-DepthNetは、合成データでのみ訓練されているにもかかわらず、目に見えない実際のデータに直接一般化できます。
論文 参考訳（メタデータ） (2021-04-02T03:55:41Z) - Dual-constrained Deep Semi-Supervised Coupled Factorization Network with
Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。
隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。
我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文 参考訳（メタデータ） (2020-09-08T13:10:21Z) - Recursive Multi-model Complementary Deep Fusion forRobust Salient Object
Detection via Parallel Sub Networks [62.26677215668959]
完全畳み込みネットワークは、正体検出(SOD)分野において優れた性能を示している。
本稿では,全く異なるネットワークアーキテクチャを持つ並列サブネットワークからなる,より広いネットワークアーキテクチャを提案する。
いくつかの有名なベンチマークの実験では、提案されたより広範なフレームワークの優れた性能、優れた一般化、強力な学習能力が明らかに示されている。
論文 参考訳（メタデータ） (2020-08-07T10:39:11Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z) - Multiple Expert Brainstorming for Domain Adaptive Person
Re-identification [140.3998019639158]
本稿では、ドメイン適応型人物再IDのための複数の専門家ブレインストーミングネットワーク(MEB-Net)を提案する。
MEB-Netは、異なるアーキテクチャを持つ複数のネットワークをソースドメイン内で事前トレーニングする、相互学習戦略を採用している。
大規模データセットの実験は、最先端技術よりもMEB-Netの方が優れた性能を示している。
論文 参考訳（メタデータ） (2020-07-03T08:16:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。