論文の概要: Efficient Neural PDE-Solvers using Quantization Aware Training
- arxiv url: http://arxiv.org/abs/2308.07350v1
- Date: Mon, 14 Aug 2023 09:21:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-16 15:18:49.281666
- Title: Efficient Neural PDE-Solvers using Quantization Aware Training
- Title(参考訳): 量子化学習を用いた高能率PDEソルバ
- Authors: Winfried van den Dool, Tijmen Blankevoort, Max Welling, Yuki M. Asano
- Abstract要約: 量子化は、性能を維持しながら推論の計算コストを下げることができることを示す。
4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
- 参考スコア(独自算出の注目度): 71.0934372968972
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the past years, the application of neural networks as an alternative to
classical numerical methods to solve Partial Differential Equations has emerged
as a potential paradigm shift in this century-old mathematical field. However,
in terms of practical applicability, computational cost remains a substantial
bottleneck. Classical approaches try to mitigate this challenge by limiting the
spatial resolution on which the PDEs are defined. For neural PDE solvers, we
can do better: Here, we investigate the potential of state-of-the-art
quantization methods on reducing computational costs. We show that quantizing
the network weights and activations can successfully lower the computational
cost of inference while maintaining performance. Our results on four standard
PDE datasets and three network architectures show that quantization-aware
training works across settings and three orders of FLOPs magnitudes. Finally,
we empirically demonstrate that Pareto-optimality of computational cost vs
performance is almost always achieved only by incorporating quantization.
- Abstract(参考訳): 近年、偏微分方程式の解法として古典的数値解法に代わるニューラルネットワークの応用が、この1世紀の数学分野における潜在的なパラダイムシフトとして現れてきた。
しかし、実用性という点では、計算コストはかなりのボトルネックのままである。
古典的なアプローチは、PDEが定義される空間分解能を制限することで、この課題を緩和しようとする。
ここでは,計算コスト削減のための最先端量子化手法の可能性について検討する。
ネットワークの重みとアクティベーションを定量化することで,性能を維持しつつ推論の計算コストを低減できることを示す。
4つの標準PDEデータセットと3つのネットワークアーキテクチャの結果、量子化対応のトレーニングは、設定と3桁のFLOPで機能することがわかった。
最後に、計算コスト対性能のパレート最適性はほとんど常に量子化を組み込むことで達成されることを示す。
関連論文リスト
- Scaling physics-informed hard constraints with mixture-of-experts [0.0]
我々は、Mixture-of-Experts (MoE) を用いて、ハード物理制約を強制するためのスケーラブルなアプローチを開発する。
MoEは小さなドメインに対する制約を課し、それぞれが微分可能な最適化によって"専門家"によって解決される。
標準的な微分可能最適化と比較して、我々のスケーラブルなアプローチは、ニューラルPDEソルバ設定においてより精度が高い。
論文 参考訳(メタデータ) (2024-02-20T22:45:00Z) - Neural Networks with Kernel-Weighted Corrective Residuals for Solving
Partial Differential Equations [0.0]
非線形PDEシステムを解くためにカーネル法とディープNNの長所を統合するためにカーネル重み付き補正残差(CoRes)を導入する。
CoResは幅広いベンチマーク問題の解決において競合する手法を一貫して上回っている。
我々はPDEの解決にカーネル手法を活用することに新たな関心を喚起する可能性があると考えている。
論文 参考訳(メタデータ) (2024-01-07T14:09:42Z) - Deep Equilibrium Based Neural Operators for Steady-State PDEs [100.88355782126098]
定常PDEに対する重み付けニューラルネットワークアーキテクチャの利点について検討する。
定常PDEの解を直接解くFNOアーキテクチャの深い平衡変種であるFNO-DEQを提案する。
論文 参考訳(メタデータ) (2023-11-30T22:34:57Z) - Quantum Fourier Networks for Solving Parametric PDEs [4.409836695738518]
近年、FNO(Fourier Neural Operator)と呼ばれるディープラーニングアーキテクチャは、入力としての初期条件に対して与えられたPDEファミリーの解を学習できることが判明した。
本稿では,古典的FNOにインスパイアされた量子アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-27T12:21:02Z) - NeuralStagger: Accelerating Physics-constrained Neural PDE Solver with
Spatial-temporal Decomposition [67.46012350241969]
本稿では,NeuralStaggerと呼ばれる一般化手法を提案する。
元の学習タスクをいくつかの粗い解像度のサブタスクに分解する。
本稿では,2次元および3次元流体力学シミュレーションにおけるNeuralStaggerの適用例を示す。
論文 参考訳(メタデータ) (2023-02-20T19:36:52Z) - MAgNet: Mesh Agnostic Neural PDE Solver [68.8204255655161]
気候予測は、流体シミュレーションにおける全ての乱流スケールを解決するために、微細な時間分解能を必要とする。
現在の数値モデル解法 PDEs on grids that too coarse (3km~200km on each side)
本研究では,空間的位置問合せが与えられたPDEの空間的連続解を予測する新しいアーキテクチャを設計する。
論文 参考訳(メタデータ) (2022-10-11T14:52:20Z) - Solving Coupled Differential Equation Groups Using PINO-CDE [42.363646159367946]
PINO-CDEは結合微分方程式群(CDE)を解くためのディープラーニングフレームワークである
物理インフォームド・ニューラル演算子(PINO)の理論に基づいて、PINO-CDEはCDEの全ての量に対して単一のネットワークを使用する。
このフレームワークは、エンジニアリングダイナミクスとディープラーニング技術を統合し、CDEの解決と不確実性伝播のための新しい概念を明らかにする可能性がある。
論文 参考訳(メタデータ) (2022-10-01T08:39:24Z) - LordNet: Learning to Solve Parametric Partial Differential Equations
without Simulated Data [63.55861160124684]
本稿では,離散化されたPDEによって構築された平均2乗残差(MSR)損失から,ニューラルネットワークが直接物理を学習する一般データ自由パラダイムを提案する。
具体的には,低ランク分解ネットワーク(LordNet)を提案する。
Poisson方程式とNavier-Stokes方程式を解く実験は、MSR損失による物理的制約がニューラルネットワークの精度と能力を向上させることを実証している。
論文 参考訳(メタデータ) (2022-06-19T14:41:08Z) - Physics-constrained Unsupervised Learning of Partial Differential
Equations using Meshes [1.066048003460524]
グラフニューラルネットワークは、不規則にメッシュ化されたオブジェクトを正確に表現し、それらのダイナミクスを学ぶことを約束する。
本研究では、メッシュをグラフとして自然に表現し、グラフネットワークを用いてそれらを処理し、物理に基づく損失を定式化し、偏微分方程式(PDE)の教師なし学習フレームワークを提供する。
本フレームワークは, ソフトボディ変形のモデルベース制御など, PDEソルバをインタラクティブな設定に適用する。
論文 参考訳(メタデータ) (2022-03-30T19:22:56Z) - Ps and Qs: Quantization-aware pruning for efficient low latency neural
network inference [56.24109486973292]
超低遅延アプリケーションのためのニューラルネットワークのトレーニング中の分級と量子化の相互作用を研究します。
量子化アウェアプルーニングは,タスクのプルーニングや量子化のみよりも計算効率のよいモデルであることが判明した。
論文 参考訳(メタデータ) (2021-02-22T19:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。