論文の概要: Separable Operator Networks
- arxiv url: http://arxiv.org/abs/2407.11253v1
- Date: Mon, 15 Jul 2024 21:43:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:11:45.550291
- Title: Separable Operator Networks
- Title（参考訳）: 分離可能なオペレータネットワーク
- Authors: Xinling Yu, Sean Hooten, Ziyue Liu, Yequan Zhao, Marco Fiorentino, Thomas Van Vaerenbergh, Zheng Zhang,
- Abstract要約: 物理インフォームドディープノネット(PI-DeepONet)はデータの不足を軽減するが、非効率なトレーニングプロセスに悩まされる。
本稿では,物理インフォームド演算子の学習効率を大幅に向上させる新しいフレームワークであるSepONetを紹介した。
- 参考スコア（独自算出の注目度）: 4.688862638563124
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Operator learning has become a powerful tool in machine learning for modeling complex physical systems. Although Deep Operator Networks (DeepONet) show promise, they require extensive data acquisition. Physics-informed DeepONets (PI-DeepONet) mitigate data scarcity but suffer from inefficient training processes. We introduce Separable Operator Networks (SepONet), a novel framework that significantly enhances the efficiency of physics-informed operator learning. SepONet uses independent trunk networks to learn basis functions separately for different coordinate axes, enabling faster and more memory-efficient training via forward-mode automatic differentiation. We provide theoretical guarantees for SepONet using the universal approximation theorem and validate its performance through comprehensive benchmarking against PI-DeepONet. Our results demonstrate that for the 1D time-dependent advection equation, when targeting a mean relative $\ell_{2}$ error of less than 6% on 100 unseen variable coefficients, SepONet provides up to $112 \times$ training speed-up and $82 \times$ GPU memory usage reduction compared to PI-DeepONet. Similar computational advantages are observed across various partial differential equations, with SepONet's efficiency gains scaling favorably as problem complexity increases. This work paves the way for extreme-scale learning of continuous mappings between infinite-dimensional function spaces.
- Abstract（参考訳）: 演算子学習は、複雑な物理システムをモデリングするための機械学習の強力なツールとなっている。
Deep Operator Networks (DeepONet) は将来性を示すが、大規模なデータ取得が必要である。
物理インフォームドディープノネット(PI-DeepONet)はデータの不足を軽減するが、非効率なトレーニングプロセスに悩まされる。
本稿では,物理インフォームド演算子の学習効率を大幅に向上させる新しいフレームワークであるSepONetを紹介した。
SepONetは独立したトランクネットワークを使用して、異なる座標軸の基底関数を個別に学習する。
一般化近似定理を用いてSepONetを理論的に保証し、PI-DeepONetに対する総合的なベンチマークによりその性能を検証する。
SepONetは, 平均相対値$\ell_{2}$誤差を100の変数係数で6%以下とした場合, トレーニング速度アップで最大112ドル, PI-DeepONetで最大812ドルとなるGPUメモリ使用率を削減できることを示した。
同様の計算上の優位性は、様々な偏微分方程式で観測され、SepONetの効率は問題複雑性が増加するにつれて好適にスケールする。
この研究は無限次元函数空間間の連続写像の極大学習の道を開く。
関連論文リスト
- FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
分散トレーニングは、システム設計と効率に関する重要な課題に直面します。
大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。
本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
論文 参考訳（メタデータ） (2024-10-16T16:13:19Z) - Zero Coordinate Shift: Whetted Automatic Differentiation for Physics-informed Operator Learning [1.024113475677323]
本稿では,物理インフォームド演算子学習のための新しい,軽量な自動微分(AD)アルゴリズムを提案する。
すべてのサンプル座標を葉変数とする代わりに、ZCSは空間的あるいは時間的次元ごとに1つのスカラー値の葉変数を導入する。
これは、関数の次元に沿った計算グラフの重複を避けることで、卓越した性能向上につながった。
論文 参考訳（メタデータ） (2023-11-01T21:28:24Z) - Communication-Efficient Adam-Type Algorithms for Distributed Data Mining [93.50424502011626]
我々はスケッチを利用した新しい分散Adam型アルゴリズムのクラス(例:SketchedAMSGrad)を提案する。
我々の新しいアルゴリズムは、反復毎に$O(frac1sqrtnT + frac1(k/d)2 T)$の高速収束率を$O(k log(d))$の通信コストで達成する。
論文 参考訳（メタデータ） (2022-10-14T01:42:05Z) - Enhanced DeepONet for Modeling Partial Differential Operators
Considering Multiple Input Functions [5.819397109258169]
偏微分方程式(PDE)に対する一般非線形連続作用素をモデル化するディープネットワーク演算子(DeepONet)が提案された。
既存のDeepONetは1つの入力関数しか受け付けないため、アプリケーションに制限がある。
本稿では、2つの入力関数を2つの分枝サブネットワークで表現する拡張DeepONetまたはEDeepONet高レベルニューラルネットワーク構造を提案する。
2つの偏微分方程式の例をモデル化した結果、提案した拡張DeepONetは約7X-17Xであり、完全に連結されたニューラルネットワークよりも約1桁精度が高いことがわかった。
論文 参考訳（メタデータ） (2022-02-17T23:58:23Z) - An Adaptive Device-Edge Co-Inference Framework Based on Soft
Actor-Critic [72.35307086274912]
高次元パラメータモデルと大規模数学的計算は、特にIoT(Internet of Things)デバイスにおける実行効率を制限する。
本稿では,ソフトポリシーの繰り返しによるエフェキシット点,エフェキシット点,エンフェキシット点を生成する離散的(SAC-d)のための新しい深層強化学習(DRL)-ソフトアクタ批判法を提案する。
レイテンシと精度を意識した報酬設計に基づいて、そのような計算は動的無線チャンネルや任意の処理のような複雑な環境によく適応でき、5G URLをサポートすることができる。
論文 参考訳（メタデータ） (2022-01-09T09:31:50Z) - Improved architectures and training algorithms for deep operator
networks [0.0]
演算子学習技術は無限次元バナッハ空間間の写像を学習するための強力なツールとして登場した。
我々は,ニューラルタンジェントカーネル(NTK)理論のレンズを用いて,ディープオペレータネットワーク(DeepONets)のトレーニングダイナミクスを解析した。
論文 参考訳（メタデータ） (2021-10-04T18:34:41Z) - Design and Scaffolded Training of an Efficient DNN Operator for Computer
Vision on the Edge [3.3767251810292955]
FuSeConvは深度的に分離可能な畳み込みの代替となる。
FuSeConvは、その空間と深さの次元に沿って畳み込みを完全に分解する。
Neural Operator Scaffoldingは、深度的に分離可能な畳み込みからの知識を蒸留することでFuSeConvのトレーニングを行う。
論文 参考訳（メタデータ） (2021-08-25T19:22:25Z) - Physics-Based Deep Learning for Fiber-Optic Communication Systems [10.630021520220653]
非線形シュリンガー方程式(NLSE)により制御される光ファイバー通信システムのための新しい機械学習手法を提案する。
本研究の主目的は,NLSEの数値解法として一般的なスプリットステップ法(SSM)が,深い多層ニューラルネットワークと同じ機能を有することである。
我々は、SSMをパラメータ化し、ニューラルネットワークの重み行列と同様、線形ステップを一般線形関数として見ることにより、この接続を利用する。
論文 参考訳（メタデータ） (2020-10-27T12:55:23Z) - Communication-Efficient Distributed Stochastic AUC Maximization with
Deep Neural Networks [50.42141893913188]
本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。
我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。
いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2020-05-05T18:08:23Z) - Joint Parameter-and-Bandwidth Allocation for Improving the Efficiency of
Partitioned Edge Learning [73.82875010696849]
機械学習アルゴリズムは、人工知能(AI)モデルをトレーニングするために、ネットワークエッジにデプロイされる。
本稿では,パラメータ(計算負荷)割り当てと帯域幅割り当ての新しい共同設計に焦点を当てる。
論文 参考訳（メタデータ） (2020-03-10T05:52:15Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。