論文の概要: Speeding up and reducing memory usage for scientific machine learning via mixed precision

• arxiv url: http://arxiv.org/abs/2401.16645v1
• Date: Tue, 30 Jan 2024 00:37:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 16:42:27.783931
• Title: Speeding up and reducing memory usage for scientific machine learning via mixed precision
• Title（参考訳）: 混合精度による科学機械学習の高速化とメモリ使用量の削減
• Authors: Joel Hayford, Jacob Goldman-Wetzler, Eric Wang, and Lu Lu
• Abstract要約: 偏微分方程式のためのニューラルネットワークのトレーニングには、大量のメモリと計算資源が必要である。 計算効率の探索において,半精度(float16)を用いたニューラルネットワークのトレーニングが注目されている。 本研究では,float16とfloat32の数値形式を組み合わせた混合精度について検討し,メモリ使用量の削減と計算速度の向上を図る。 実験の結果,混合精度トレーニングはトレーニング時間とメモリ要求を大幅に削減するだけでなく,モデル精度も維持することがわかった。
• 参考スコア（独自算出の注目度）: 3.746841257785099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scientific machine learning (SciML) has emerged as a versatile approach to address complex computational science and engineering problems. Within this field, physics-informed neural networks (PINNs) and deep operator networks (DeepONets) stand out as the leading techniques for solving partial differential equations by incorporating both physical equations and experimental data. However, training PINNs and DeepONets requires significant computational resources, including long computational times and large amounts of memory. In search of computational efficiency, training neural networks using half precision (float16) rather than the conventional single (float32) or double (float64) precision has gained substantial interest, given the inherent benefits of reduced computational time and memory consumed. However, we find that float16 cannot be applied to SciML methods, because of gradient divergence at the start of training, weight updates going to zero, and the inability to converge to a local minima. To overcome these limitations, we explore mixed precision, which is an approach that combines the float16 and float32 numerical formats to reduce memory usage and increase computational speed. Our experiments showcase that mixed precision training not only substantially decreases training times and memory demands but also maintains model accuracy. We also reinforce our empirical observations with a theoretical analysis. The research has broad implications for SciML in various computational applications.
• Abstract（参考訳）: 科学機械学習(SciML)は、複雑な計算科学と工学の問題に対処するための汎用的なアプローチとして登場した。 この分野では、物理インフォームドニューラルネットワーク(PINN)とディープオペレータネットワーク(DeepONets)が、物理方程式と実験データの両方を組み込むことで偏微分方程式を解く主要な手法である。 しかし、PINNとDeepONetsのトレーニングには、長い計算時間や大量のメモリを含む重要な計算資源が必要である。 計算効率の追求において、従来のシングル(float32)やダブル(float64)よりも半精度(float16)を用いたニューラルネットワークのトレーニングは、計算時間とメモリ消費の削減という本質的な利点から、大きな関心を集めている。 しかし,SciML法では,トレーニング開始時の勾配のばらつき,重量更新がゼロとなること,局所最小値に収束できないことなどから,float16は適用できないことがわかった。 これらの制限を克服するために,float16とfloat32の数値形式を組み合わせてメモリ使用率を削減し,計算速度を向上する手法である混合精度について検討する。 実験の結果,混合精度トレーニングはトレーニング時間とメモリ要求を大幅に削減するだけでなく,モデル精度も維持することがわかった。 また、理論的分析により経験的観察を強化した。 この研究は様々な計算応用においてscimlに広く影響している。

関連論文リスト

• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Is Integer Arithmetic Enough for Deep Learning Training? [2.9136421025415205]
  浮動小数点演算を低ビット整数演算に置き換えることは、ディープラーニングモデルのエネルギー、メモリフットプリント、レイテンシを節約するための有望なアプローチである。 本稿では,フォワードパス,バックプロパゲーション,勾配降下を含む完全関数型整数学習パイプラインを提案する。 提案手法は, 視覚変換器, オブジェクト検出, セマンティックセグメンテーションなど, 多様なタスクに有効であることを示す。
  論文  参考訳（メタデータ） (2022-07-18T22:36:57Z)
• Deep Neural Networks to Correct Sub-Precision Errors in CFD [0.0]
  いくつかの機械学習技術は、空間的離散化による誤差の修正に成功している。 畳み込みニューラルネットワークと完全に微分可能な数値解法を用いて、16ビットの算術演算を行い、密結合型ML-CFDハイブリッド解法を学習する。 16ビットの解法と比較して, ML-CFDハイブリッド解法は, 速度場の誤差蓄積を低減し, 高周波数での運動エネルギースペクトルを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-09T02:32:40Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• PositNN: Training Deep Neural Networks with Mixed Low-Precision Posit [5.534626267734822]
  本研究は、ポジットを用いた深層畳み込みニューラルネットワークの訓練の可能性を評価することを目的とする。 エンドツーエンドのトレーニングと推論にシミュレートされたポジットとクィアを使用するソフトウェアフレームワークが開発された。 その結果、8ビットポジットはトレーニング中に32ビットフロートを置換でき、その結果の損失や精度に悪影響を及ぼさないことが示唆された。
  論文  参考訳（メタデータ） (2021-04-30T19:30:37Z)
• Reduced Precision Strategies for Deep Learning: A High Energy Physics Generative Adversarial Network Use Case [0.19788841311033123]
  ディープラーニングをより効率的にするための有望なアプローチは、ニューラルネットワークのパラメータを量子化し、精度を下げることである。 本稿では,複雑な深層生成型逆ネットワークモデルに対する低精度推論の効果を解析する。
  論文  参考訳（メタデータ） (2021-03-18T10:20:23Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。