論文の概要: Distributed Multigrid Neural Solvers on Megavoxel Domains

• arxiv url: http://arxiv.org/abs/2104.14538v1
• Date: Thu, 29 Apr 2021 17:53:22 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 13:09:37.183582
• Title: Distributed Multigrid Neural Solvers on Megavoxel Domains
• Title（参考訳）: メガボクセル領域上の分散多重グリッドニューラルネットワーク
• Authors: Aditya Balu, Sergio Botelho, Biswajit Khara, Vinay Rao, Chinmay Hegde, Soumik Sarkar, Santi Adavani, Adarsh Krishnamurthy, Baskar Ganapathysubramanian
• Abstract要約: フルフィールド出力を生成するPDEソルバの分散トレーニングを検討します。 2つの異なる進歩を統合するスケーラブルなフレームワークが提示される。 このアプローチは、出力フルフィールドソリューションを予測するためによくスケールする一般化された3D Poissonソルバを訓練するために展開されます。
• 参考スコア（独自算出の注目度）: 27.412837974378597
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We consider the distributed training of large-scale neural networks that serve as PDE solvers producing full field outputs. We specifically consider neural solvers for the generalized 3D Poisson equation over megavoxel domains. A scalable framework is presented that integrates two distinct advances. First, we accelerate training a large model via a method analogous to the multigrid technique used in numerical linear algebra. Here, the network is trained using a hierarchy of increasing resolution inputs in sequence, analogous to the 'V', 'W', 'F', and 'Half-V' cycles used in multigrid approaches. In conjunction with the multi-grid approach, we implement a distributed deep learning framework which significantly reduces the time to solve. We show the scalability of this approach on both GPU (Azure VMs on Cloud) and CPU clusters (PSC Bridges2). This approach is deployed to train a generalized 3D Poisson solver that scales well to predict output full-field solutions up to the resolution of 512x512x512 for a high dimensional family of inputs.
• Abstract（参考訳）: 我々はPDEソルバとして機能する大規模ニューラルネットワークの分散トレーニングについて検討する。 特に,メガボクセル領域上の一般化された3次元ポアソン方程式に対するニューラルソルバについて考察する。 2つの異なる進歩を統合するスケーラブルなフレームワークが紹介されている。 まず,数値線形代数で用いられる乗法に類似した手法を用いて,大規模モデルの学習を高速化する。 ここで、ネットワークは、マルチグリッドアプローチで使用される'V'、'W'、'F'、'Half-V'サイクルに類似した、シーケンス内の解像度入力の増加階層を用いて訓練される。 マルチグリッドアプローチと連動して,分散ディープラーニングフレームワークを実装し,解く時間を大幅に削減する。 このアプローチのスケーラビリティをGPU(クラウド上のAzure VM)とCPUクラスタ(PSC Bridges2)の両方で示す。 このアプローチは、高次元の入力族に対する512x512x512の分解能まで出力フルフィールドソリューションを予測するためによくスケールする一般化された3d poissonソルバをトレーニングするためにデプロイされる。

関連論文リスト

• Error Analysis of Three-Layer Neural Network Trained with PGD for Deep Ritz Method [7.723218675113336]
  我々はディープ・リッツ法(英語版)の枠組み内に3層タンニューラルネットを用い、二階楕円方程式を解く。 我々は3層ネットワークをトレーニングするために、予測勾配降下を行い、そのグローバル収束を確立する。 サンプルサイズ$n$の誤差を提示し、ネットワーク深さ、幅、ステップサイズ、および予測勾配降下アルゴリズムの反復数の設定方法についてのガイダンスを提供する。
  論文  参考訳（メタデータ） (2024-05-19T05:07:09Z)
• Transferable Neural Wavefunctions for Solids [5.219568203653524]
  これらすべてのバリエーションに対して、1つのアンサッツを最適化する方法を示す。 我々は,LiHの2x2x2スーパーセル上で事前学習したネットワークを3x3x3スーパーセルに転送することに成功した。
  論文  参考訳（メタデータ） (2024-05-13T09:59:59Z)
• Solving the Discretised Multiphase Flow Equations with Interface Capturing on Structured Grids Using Machine Learning Libraries [0.6299766708197884]
  本稿では,機械学習ライブラリのツールと手法を用いて,離散化した多相流方程式を解く。 はじめて、(訓練されていない)畳み込みニューラルネットワークに基づくアプローチを用いて、多相流の有限要素判別を解くことができる。
  論文  参考訳（メタデータ） (2024-01-12T18:42:42Z)
• Multigrid-Augmented Deep Learning Preconditioners for the Helmholtz Equation using Compact Implicit Layers [7.56372030029358]
  高波動数に対する離散異種ヘルムホルツ方程式を解くためのディープラーニングに基づく反復的手法を提案する。 畳み込みカーネルが反転するU-Netの粗い格子上に暗黙の層を持つマルチレベルU-NetライクなエンコーダCNNを構築する。 我々のアーキテクチャは、様々な難易度の異なる低速モデルの一般化に利用することができ、低速モデルごとに多くの右辺を解くのに効率的である。
  論文  参考訳（メタデータ） (2023-06-30T08:56:51Z)
• On Optimizing the Communication of Model Parallelism [74.15423270435949]
  大規模モデル並列ディープラーニング(DL)における新しい重要なコミュニケーションパターンについて検討する。 クロスメッシュリシャーディングでは、シャードテンソルをソースデバイスメッシュから宛先デバイスメッシュに送信する必要がある。 本稿では、効率的な放送ベースの通信システムと「重複しやすい」パイプラインスケジュールという、クロスメシュ・リシャーディングに対処するための2つのコントリビューションを提案する。
  論文  参考訳（メタデータ） (2022-11-10T03:56:48Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Multigrid-augmented deep learning preconditioners for the Helmholtz equation [4.18804572788063]
  離散異種ヘルムホルツ方程式を高波数で解くためのデータ駆動型手法を提案する。 古典的反復解法と畳み込みニューラルネットワーク(CNN)を組み合わせることで、Krylov解法に適用される事前条件を形成する。
  論文  参考訳（メタデータ） (2022-03-14T10:31:11Z)
• ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
  本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。 複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
  論文  参考訳（メタデータ） (2021-02-16T04:07:13Z)
• Implicit Convex Regularizers of CNN Architectures: Convex Optimization of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
  本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。 我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
  論文  参考訳（メタデータ） (2020-06-26T04:47:20Z)
• Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks [70.15611146583068]
  我々は、線形整列ユニット(ReLU)を用いた2層ニューラルネットワークのトレーニングの正確な表現を開発する。 我々の理論は半無限双対性と最小ノルム正規化を利用する。
  論文  参考訳（メタデータ） (2020-02-24T21:32:41Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。