論文の概要: Training Deep Surrogate Models with Large Scale Online Learning

• arxiv url: http://arxiv.org/abs/2306.16133v1
• Date: Wed, 28 Jun 2023 12:02:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 14:13:49.310481
• Title: Training Deep Surrogate Models with Large Scale Online Learning
• Title（参考訳）: 大規模オンライン学習による深層サロゲートモデルのトレーニング
• Authors: Lucas Meyer (EDF R\&D, SINCLAIR AI Lab, DATAMOVE ), Marc Schouler (DATAMOVE ), Robert Alexander Caulk (DATAMOVE ), Alejandro Rib\'es (SINCLAIR AI Lab, EDF R\&D), Bruno Raffin (DATAMOVE )
• Abstract要約: ディープラーニングアルゴリズムは、PDEの高速解を得るための有効な代替手段として登場した。 モデルは通常、ソルバによって生成された合成データに基づいてトレーニングされ、ディスクに格納され、トレーニングのために読み返される。 ディープサロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.7576911714538
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The spatiotemporal resolution of Partial Differential Equations (PDEs) plays important roles in the mathematical description of the world's physical phenomena. In general, scientists and engineers solve PDEs numerically by the use of computationally demanding solvers. Recently, deep learning algorithms have emerged as a viable alternative for obtaining fast solutions for PDEs. Models are usually trained on synthetic data generated by solvers, stored on disk and read back for training. This paper advocates that relying on a traditional static dataset to train these models does not allow the full benefit of the solver to be used as a data generator. It proposes an open source online training framework for deep surrogate models. The framework implements several levels of parallelism focused on simultaneously generating numerical simulations and training deep neural networks. This approach suppresses the I/O and storage bottleneck associated with disk-loaded datasets, and opens the way to training on significantly larger datasets. Experiments compare the offline and online training of four surrogate models, including state-of-the-art architectures. Results indicate that exposing deep surrogate models to more dataset diversity, up to hundreds of GB, can increase model generalization capabilities. Fully connected neural networks, Fourier Neural Operator (FNO), and Message Passing PDE Solver prediction accuracy is improved by 68%, 16% and 7%, respectively.
• Abstract（参考訳）: 部分微分方程式(PDE)の時空間分解は、世界の物理現象の数学的記述において重要な役割を果たす。 一般に、科学者や技術者は計算に要求される解法を用いてPDEを数値的に解く。 近年,PDEの高速解の代替としてディープラーニングアルゴリズムが登場している。 モデルは通常、ソルバが生成した合成データに基づいて訓練され、ディスクに格納され、トレーニングのために読み戻される。 本稿では、これらのモデルをトレーニングするために従来の静的データセットを頼りにしているため、ソルバの完全なメリットをデータジェネレータとして利用できないことを主張する。 深層サロゲートモデルのためのオープンソースのオンライントレーニングフレームワークを提案する。 このフレームワークは、数値シミュレーションとディープニューラルネットワークのトレーニングを同時に行うことに焦点を当てた、いくつかのレベルの並列処理を実装している。 このアプローチは、ディスクロードされたデータセットに関連するI/Oとストレージのボトルネックを抑制し、はるかに大きなデータセットのトレーニング方法を開く。 実験では、最先端アーキテクチャを含む4つの代理モデルのオフラインおよびオンライントレーニングを比較した。 以上の結果から,データセットの多様性を最大数百GBにまで高めることで,モデル一般化能力が向上する可能性が示唆された。 フル接続ニューラルネットワーク、フーリエニューラル演算子(FNO)、メッセージパスPDEソルバー予測精度はそれぞれ68%、16%、7%向上している。

関連論文リスト

• Neuroexplicit Diffusion Models for Inpainting of Optical Flow Fields [8.282495481952784]
  我々は、PDEに基づく明示的なアプローチと畳み込みニューラルネットワークを組み合わせることで、モデルとデータ駆動アプローチを結合する方法を示す。 我々のモデルは、再構築の質、堅牢性、必要なトレーニングデータの量の観点から、完全に明示的かつ完全にデータ駆動のベースラインを上回ります。
  論文  参考訳（メタデータ） (2024-05-23T14:14:27Z)
• Partitioned Neural Network Training via Synthetic Intermediate Labels [0.0]
  GPUメモリの制約は、そのような巨大なモデルをトレーニングする上で、注目すべきボトルネックになっている。 この研究は、モデルをGPU間で分割し、個々のセグメントをトレーニングするために合成中間ラベルを生成することを提唱する。 このアプローチは、モデル精度を維持しながらデータ通信を最小限に抑える、より効率的なトレーニングプロセスをもたらす。
  論文  参考訳（メタデータ） (2024-03-17T13:06:29Z)
• DPOT: Auto-Regressive Denoising Operator Transformer for Large-Scale PDE Pre-Training [87.90342423839876]
  我々は,PDEデータに対するより安定的で効率的な事前学習を可能にする,自己回帰型事前学習戦略を提案する。 我々は,100k以上の軌道を持つ10以上のPDEデータセットに対して,最大0.5BパラメータでPDEファンデーションモデルをトレーニングする。
  論文  参考訳（メタデータ） (2024-03-06T08:38:34Z)
• Data-Efficient Operator Learning via Unsupervised Pretraining and In-Context Learning [45.78096783448304]
  本研究では,PDE演算子学習のための教師なし事前学習を設計する。 シミュレーションソリューションを使わずにラベルなしのPDEデータをマイニングし、物理に着想を得た再構成ベースのプロキシタスクでニューラルネットワークを事前訓練する。 提案手法は,データ効率が高く,より一般化可能であり,従来の視覚予測モデルよりも優れる。
  論文  参考訳（メタデータ） (2024-02-24T06:27:33Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Physics-enhanced deep surrogates for partial differential equations [30.731686639510517]
  本稿では, 複雑な物理系のための高速サロゲートモデル開発に向けて, 物理強化ディープサロゲート(PEDS)アプローチを提案する。 具体的には,低忠実で説明可能な物理シミュレータとニューラルネットワークジェネレータの組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-11-10T18:43:18Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)
• Deep Generative Models that Solve PDEs: Distributed Computing for Training Large Data-Free Models [25.33147292369218]
  科学機械学習(SciML)の最近の進歩は、複雑な偏微分方程式(PDE)を解く新しいニューラルネットワークアーキテクチャを訓練する可能性を開く。 本稿では、これらの大規模SciMLモデルをトレーニングする2つの課題を解決するために、データ並列分散ディープラーニングのためのソフトウェアフレームワークについて報告する。 私たちのフレームワークは、(a)プロセス数に依存しない損失整合性、(b)同期バッチ正規化、(c)分散高階最適化方法など、いくつかのアウトオブボックス機能を提供します。
  論文  参考訳（メタデータ） (2020-07-24T22:42:35Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。