論文の概要: Guaranteed Approximation Bounds for Mixed-Precision Neural Operators

• arxiv url: http://arxiv.org/abs/2307.15034v3
• Date: Sun, 5 May 2024 04:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 01:06:19.550952
• Title: Guaranteed Approximation Bounds for Mixed-Precision Neural Operators
• Title（参考訳）: 混合精度ニューラル演算子の保証近似境界
• Authors: Renbo Tu, Colin White, Jean Kossaifi, Boris Bonev, Nikola Kovachki, Gennady Pekhimenko, Kamyar Azizzadenesheli, Anima Anandkumar,
• Abstract要約: 我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
• 参考スコア（独自算出の注目度）: 83.64404557466528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural operators, such as Fourier Neural Operators (FNO), form a principled approach for learning solution operators for PDEs and other mappings between function spaces. However, many real-world problems require high-resolution training data, and the training time and limited GPU memory pose big barriers. One solution is to train neural operators in mixed precision to reduce the memory requirement and increase training speed. However, existing mixed-precision training techniques are designed for standard neural networks, and we find that their direct application to FNO leads to numerical overflow and poor memory efficiency. Further, at first glance, it may appear that mixed precision in FNO will lead to drastic accuracy degradation since reducing the precision of the Fourier transform yields poor results in classical numerical solvers. We show that this is not the case; in fact, we prove that reducing the precision in FNO still guarantees a good approximation bound, when done in a targeted manner. Specifically, we build on the intuition that neural operator learning inherently induces an approximation error, arising from discretizing the infinite-dimensional ground-truth input function, implying that training in full precision is not needed. We formalize this intuition by rigorously characterizing the approximation and precision errors of FNO and bounding these errors for general input functions. We prove that the precision error is asymptotically comparable to the approximation error. Based on this, we design a simple method to optimize the memory-intensive half-precision tensor contractions by greedily finding the optimal contraction order. Through extensive experiments on different state-of-the-art neural operators, datasets, and GPUs, we demonstrate that our approach reduces GPU memory usage by up to 50% and improves throughput by 58% with little or no reduction in accuracy.
• Abstract（参考訳）: フーリエニューラル演算子(FNO)のようなニューラル演算子は、PDEと関数空間間の他のマッピングの解演算子を学習するための原理的なアプローチを形成する。 しかし、現実の多くの問題は高解像度のトレーニングデータを必要とし、トレーニング時間と限られたGPUメモリは大きな障壁となる。 1つの解決策は、混合精度でニューラル演算子をトレーニングし、メモリ要求を減らし、トレーニング速度を向上させることである。 しかし、既存の混合精度トレーニング技術は標準ニューラルネットワーク用に設計されており、FNOへの直接適用は数値オーバーフローとメモリ効率の低下につながる。 さらに、一見すると、FNOの混合精度はフーリエ変換の精度を低下させるため、古典的な数値解法では不十分な結果をもたらすと考えられる。 実のところ、FNOの精度の低下は、目標とする方法で行うと、良い近似境界が保証されることを証明している。 具体的には、ニューラルネットワーク学習が本質的に近似誤差を誘導する直感に基づいて、無限次元の接地構造入力関数の離散化から生じるものであり、完全精度でのトレーニングは不要であることを示す。 この直観は、FNOの近似と精度の誤差を厳格に評価し、一般的な入力関数にこれらの誤差を限定することによって定式化する。 精度誤差は近似誤差と漸近的に同等であることを示す。 そこで本研究では,メモリ集約型半精度テンソル収縮を最適化する簡単な手法を設計する。 さまざまな最先端のニューラル演算子、データセット、GPUに関する広範な実験を通じて、我々のアプローチはGPUメモリ使用量を最大50%削減し、スループットを58%向上する。

関連論文リスト

• Neural Precision Polarization: Simplifying Neural Network Inference with Dual-Level Precision [0.4124847249415279]
  浮動小数点モデルはクラウドでトレーニングされ、エッジデバイスにダウンロードされる。 ネットワークの重みとアクティベーションは、NF4やINT8のようなエッジデバイスの望ましいレベルを満たすために直接量子化される。 本稿では,Watt MAC の効率と信頼性について,約464 TOPS のニューラル精度の偏極が可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-06T16:02:55Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Linearization Turns Neural Operators into Function-Valued Gaussian Processes [23.85470417458593]
  ニューラル作用素におけるベイズの不確かさを近似する新しい枠組みを導入する。 我々の手法は関数型プログラミングからカリー化の概念の確率論的類似体と解釈できる。 我々は、異なるタイプの偏微分方程式への応用を通して、我々のアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2024-06-07T16:43:54Z)
• Spectral-Refiner: Fine-Tuning of Accurate Spatiotemporal Neural Operator for Turbulent Flows [6.961408873053586]
  本稿では,ボヒナー空間間のマップを学習する新しい時間的ニューラル演算子(SFNO)と,これらの問題に対処する新しい学習フレームワークを提案する。 この新しいパラダイムは、従来の数値PDE理論と技法の知恵を利用して、一般的に採用されているエンドツーエンドのニューラル演算子のトレーニングと評価のパイプラインを洗練する。 2次元NSEのための一般的なベンチマークの数値実験は、エンドツーエンド評価や従来の数値PDEソルバと比較して計算効率と精度の両方が大幅に向上した。
  論文  参考訳（メタデータ） (2024-05-27T14:33:06Z)
• Training with Mixed-Precision Floating-Point Assignments [8.5323697848377]
  より少ないメモリを使用する畳み込みニューラルネットワークの精度割当を生成する。 CIFAR-10, CIFAR-100, ImageNet上で, 畳み込みネットワークを訓練し, 画像分類タスクの評価を行った。
  論文  参考訳（メタデータ） (2023-01-31T08:01:35Z)
• Precision Machine Learning [5.15188009671301]
  様々な関数近似法を比較し,パラメータやデータの増加とともにスケールする方法について検討する。 ニューラルネットワークは、しばしば高次元の例において古典的近似法より優れていることが判明した。 我々は,ニューラルネットワークを極端に低損失に訓練する訓練手法を開発した。
  論文  参考訳（メタデータ） (2022-10-24T17:58:30Z)
• Refining neural network predictions using background knowledge [68.35246878394702]
  学習システムにおける論理的背景知識を用いて,ラベル付きトレーニングデータの不足を補うことができることを示す。 そこで本研究では,修正された予測を元の予測に近い精度で検出する微分可能精細関数を提案する。 このアルゴリズムは、複雑なSATの公式に対して、非常に少ない繰り返しで最適に洗練され、勾配降下ができない解がしばしば見つかる。
  論文  参考訳（メタデータ） (2022-06-10T10:17:59Z)
• How Low Can We Go: Trading Memory for Error in Low-Precision Training [52.94003953419242]
  低精度算術は、少ないエネルギー、少ないメモリ、少ない時間でディープラーニングモデルを訓練する。 私たちは貯金の代償を支払っている: 精度の低い方がラウンドオフエラーが大きくなり、したがって予測エラーが大きくなる可能性がある。 私たちはメタラーニングのアイデアを借りて、メモリとエラーのトレードオフを学びます。
  論文  参考訳（メタデータ） (2021-06-17T17:38:07Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。