論文の概要: Separable Operator Networks
- arxiv url: http://arxiv.org/abs/2407.11253v2
- Date: Tue, 13 Aug 2024 07:08:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-14 21:54:47.293038
- Title: Separable Operator Networks
- Title（参考訳）: 分離可能なオペレータネットワーク
- Authors: Xinling Yu, Sean Hooten, Ziyue Liu, Yequan Zhao, Marco Fiorentino, Thomas Van Vaerenbergh, Zheng Zhang,
- Abstract要約: 演算子学習は、偏微分方程式(PDE)によって支配される複雑な物理系をモデル化するための機械学習の強力なツールとなった
本稿では,物理インフォームド演算子の学習効率を大幅に向上させる新しいフレームワークであるSepONetを紹介した。
SepONetは独立したトランクネットワークを使用して、異なる座標軸の基底関数を個別に学習する。
- 参考スコア（独自算出の注目度）: 4.688862638563124
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Operator learning has become a powerful tool in machine learning for modeling complex physical systems governed by partial differential equations (PDEs). Although Deep Operator Networks (DeepONet) show promise, they require extensive data acquisition. Physics-informed DeepONets (PI-DeepONet) mitigate data scarcity but suffer from inefficient training processes. We introduce Separable Operator Networks (SepONet), a novel framework that significantly enhances the efficiency of physics-informed operator learning. SepONet uses independent trunk networks to learn basis functions separately for different coordinate axes, enabling faster and more memory-efficient training via forward-mode automatic differentiation. We provide a universal approximation theorem for SepONet proving that it generalizes to arbitrary operator learning problems, and then validate its performance through comprehensive benchmarking against PI-DeepONet. Our results demonstrate SepONet's superior performance across various nonlinear and inseparable PDEs, with SepONet's advantages increasing with problem complexity, dimension, and scale. For 1D time-dependent PDEs, SepONet achieves up to $112\times$ faster training and $82\times$ reduction in GPU memory usage compared to PI-DeepONet, while maintaining comparable accuracy. For the 2D time-dependent nonlinear diffusion equation, SepONet efficiently handles the complexity, achieving a 6.44\% mean relative $\ell_{2}$ test error, while PI-DeepONet fails due to memory constraints. This work paves the way for extreme-scale learning of continuous mappings between infinite-dimensional function spaces. Open source code is available at \url{https://github.com/HewlettPackard/separable-operator-networks}.
- Abstract（参考訳）: 演算子学習は、偏微分方程式(PDE)によって支配される複雑な物理系をモデル化するための機械学習の強力なツールとなった。
Deep Operator Networks (DeepONet) は将来性を示すが、大規模なデータ取得が必要である。
物理インフォームドディープノネット(PI-DeepONet)はデータの不足を軽減するが、非効率なトレーニングプロセスに悩まされる。
本稿では,物理インフォームド演算子の学習効率を大幅に向上させる新しいフレームワークであるSepONetを紹介した。
SepONetは独立したトランクネットワークを使用して、異なる座標軸の基底関数を個別に学習する。
本稿では、任意の演算子学習問題に一般化し、PI-DeepONetに対する総合的なベンチマークによってその性能を検証することを証明したSepONetの普遍近似定理を提案する。
この結果から,SepONetは様々な非線形かつ分離不能なPDEに対して優れた性能を示し,SepONetの優位性は問題複雑性,寸法,スケールで増大している。
1Dの時間依存PDEでは、SepONetは最大で112\times$高速トレーニングと822\times$GPUメモリ使用率をPI-DeepONetと比較して削減し、同等の精度を維持している。
2次元時間依存性の非線形拡散方程式では、SepONetは複雑性を効率的に処理し、相対的な$\ell_{2}$テストエラーを6.44 %達成する一方、PI-DeepONetはメモリ制約のために失敗する。
この研究は無限次元函数空間間の連続写像の極大学習の道を開く。
オープンソースコードは \url{https://github.com/HewlettPackard/separable-operator-networks} で公開されている。
関連論文リスト
- Physics-Informed Latent Neural Operator for Real-time Predictions of Complex Physical Systems [0.0]
ディープオペレータネットワーク(DeepONet)は、偏微分方程式(PDE)によって支配される系の代理モデルとして大きな可能性を示している。
この研究は、制限を克服する物理インフォームされた潜在演算子学習フレームワークPI-Latent-NOを導入している。
論文 参考訳（メタデータ） (2025-01-14T20:38:30Z) - FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Separable DeepONet: Breaking the Curse of Dimensionality in Physics-Informed Machine Learning [0.0]
ラベル付きデータセットがない場合、PDE残留損失を利用して物理系を学習する。
この手法は、主に次元の呪いによる重要な計算課題に直面するが、計算コストは、より詳細な離散化とともに指数関数的に増加する。
本稿では,これらの課題に対処し,高次元PDEのスケーラビリティを向上させるために,分離可能なDeepONetフレームワークを紹介する。
論文 参考訳（メタデータ） (2024-07-21T16:33:56Z) - Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning [1.024113475677323]
本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。
すべてのサンプル座標を葉変数とする代わりに、ZCSは空間的あるいは時間的次元ごとに1つのスカラー値の葉変数を導入する。
これは、関数の次元に沿った計算グラフの重複を避けることで、卓越した性能向上につながった。
論文 参考訳（メタデータ） (2023-11-01T21:28:24Z) - Training Deep Surrogate Models with Large Scale Online Learning [48.7576911714538]
ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。
モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。
ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-28T12:02:27Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Solving High-Dimensional PDEs with Latent Spectral Models [74.1011309005488]
我々は,高次元PDEの効率的かつ高精度な解法に向けて,Latent Spectral Models (LSM) を提案する。
数値解析において古典スペクトル法に着想を得て,潜時空間におけるPDEを解くために,ニューラルスペクトルブロックを設計する。
LSMは、一貫した最先端を実現し、7つのベンチマークで平均11.5%の相対的な利益を得る。
論文 参考訳（メタデータ） (2023-01-30T04:58:40Z) - Improved architectures and training algorithms for deep operator
networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。
我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文 参考訳（メタデータ） (2021-10-04T18:34:41Z) - Physics-Based Deep Learning for Fiber-Optic Communication Systems [10.630021520220653]
非線形シュリンガー方程式(NLSE)により制御される光ファイバー通信システムのための新しい機械学習手法を提案する。
本研究の主目的は,NLSEの数値解法として一般的なスプリットステップ法(SSM)が,深い多層ニューラルネットワークと同じ機能を有することである。
我々は、SSMをパラメータ化し、ニューラルネットワークの重み行列と同様、線形ステップを一般線形関数として見ることにより、この接続を利用する。
論文 参考訳（メタデータ） (2020-10-27T12:55:23Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。