論文の概要: Efficient Neural PDE-Solvers using Quantization Aware Training

• arxiv url: http://arxiv.org/abs/2308.07350v1
• Date: Mon, 14 Aug 2023 09:21:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-16 15:18:49.281666
• Title: Efficient Neural PDE-Solvers using Quantization Aware Training
• Title（参考訳）: 量子化学習を用いた高能率PDEソルバ
• Authors: Winfried van den Dool, Tijmen Blankevoort, Max Welling, Yuki M. Asano
• Abstract要約: 量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。 4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
• 参考スコア（独自算出の注目度）: 71.0934372968972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the past years, the application of neural networks as an alternative to classical numerical methods to solve Partial Differential Equations has emerged as a potential paradigm shift in this century-old mathematical field. However, in terms of practical applicability, computational cost remains a substantial bottleneck. Classical approaches try to mitigate this challenge by limiting the spatial resolution on which the PDEs are defined. For neural PDE solvers, we can do better: Here, we investigate the potential of state-of-the-art quantization methods on reducing computational costs. We show that quantizing the network weights and activations can successfully lower the computational cost of inference while maintaining performance. Our results on four standard PDE datasets and three network architectures show that quantization-aware training works across settings and three orders of FLOPs magnitudes. Finally, we empirically demonstrate that Pareto-optimality of computational cost vs performance is almost always achieved only by incorporating quantization.
• Abstract（参考訳）: 近年、偏微分方程式の解法として古典的数値解法に代わるニューラルネットワークの応用が、この1世紀の数学分野における潜在的なパラダイムシフトとして現れてきた。 しかし、実用性という点では、計算コストはかなりのボトルネックのままである。 古典的なアプローチは、PDEが定義される空間分解能を制限することで、この課題を緩和しようとする。 ここでは,計算コスト削減のための最先端量子化手法の可能性について検討する。 ネットワークの重みとアクティベーションを定量化することで,性能を維持しつつ推論の計算コストを低減できることを示す。 4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。 最後に、計算コスト対性能のパレート最適性はほとんど常に量子化を組み込むことで達成されることを示す。

関連論文リスト

• Quantifying Training Difficulty and Accelerating Convergence in Neural Network-Based PDE Solvers [9.936559796069844]
  ニューラルネットワークに基づくPDEソルバのトレーニングダイナミクスについて検討する。 統一分割(PoU)と分散スケーリング(VS)という2つの手法が有効ランクを高めていることがわかった。 PINNやDeep Ritz、オペレータ学習フレームワークのDeepOnetなど、人気のあるPDE解決フレームワークを使用した実験では、これらのテクニックが収束を継続的に加速することを確認した。
  論文  参考訳（メタデータ） (2024-10-08T19:35:19Z)
• Predicting Probabilities of Error to Combine Quantization and Early Exiting: QuEE [68.6018458996143]
  本稿では,量子化と早期出口動的ネットワークを組み合わせたより一般的な動的ネットワークQuEEを提案する。 我々のアルゴリズムは、ソフトアーリーエグジットや入力依存圧縮の一形態と見なすことができる。 提案手法の重要な要素は、さらなる計算によって実現可能な潜在的な精度向上の正確な予測である。
  論文  参考訳（メタデータ） (2024-06-20T15:25:13Z)
• Solving Poisson Equations using Neural Walk-on-Spheres [80.1675792181381]
  高次元ポアソン方程式の効率的な解法としてニューラルウォーク・オン・スフェース(NWoS)を提案する。 我々は,NWoSの精度,速度,計算コストにおける優位性を実証した。
  論文  参考訳（メタデータ） (2024-06-05T17:59:22Z)
• Constrained or Unconstrained? Neural-Network-Based Equation Discovery from Data [0.0]
  我々はPDEをニューラルネットワークとして表現し、物理情報ニューラルネットワーク(PINN)に似た中間状態表現を用いる。 本稿では,この制約付き最適化問題を解くために,ペナルティ法と広く利用されている信頼領域障壁法を提案する。 バーガーズ方程式とコルトヴェーグ・ド・ヴライス方程式に関する我々の結果は、後者の制約付き手法がペナルティ法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-30T01:55:44Z)
• Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
  定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。 定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
  論文  参考訳（メタデータ） (2023-11-30T22:34:57Z)
• Quantum Fourier Networks for Solving Parametric PDEs [4.409836695738518]
  近年、FNO(Fourier Neural Operator)と呼ばれるディープラーニングアーキテクチャは、入力としての初期条件に対して与えられたPDEファミリーの解を学習できることが判明した。 本稿では,古典的FNOにインスパイアされた量子アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-27T12:21:02Z)
• NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with Spatial-temporal Decomposition [67.46012350241969]
  本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。 元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。 本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
  論文  参考訳（メタデータ） (2023-02-20T19:36:52Z)
• Solving Coupled Differential Equation Groups Using PINO-CDE [42.363646159367946]
  PINO-CDEは結合微分方程式群(CDE)を解くためのディープラーニングフレームワークである 物理インフォームド・ニューラル演算子(PINO)の理論に基づいて、PINO-CDEはCDEの全ての量に対して単一のネットワークを使用する。 このフレームワークは、エンジニアリングダイナミクスとディープラーニング技術を統合し、CDEの解決と不確実性伝播のための新しい概念を明らかにする可能性がある。
  論文  参考訳（メタデータ） (2022-10-01T08:39:24Z)
• Physics-constrained Unsupervised Learning of Partial Differential Equations using Meshes [1.066048003460524]
  グラフニューラルネットワークは、不規則にメッシュ化されたオブジェクトを正確に表現し、それらのダイナミクスを学ぶことを約束する。 本研究では、メッシュをグラフとして自然に表現し、グラフネットワークを用いてそれらを処理し、物理に基づく損失を定式化し、偏微分方程式(PDE)の教師なし学習フレームワークを提供する。 本フレームワークは, ソフトボディ変形のモデルベース制御など, PDEソルバをインタラクティブな設定に適用する。
  論文  参考訳（メタデータ） (2022-03-30T19:22:56Z)
• Ps and Qs: Quantization-aware pruning for efficient low latency neural network inference [56.24109486973292]
  超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。 量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
  論文  参考訳（メタデータ） (2021-02-22T19:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。