論文の概要: Multi-Level GNN Preconditioner for Solving Large Scale Problems
- arxiv url: http://arxiv.org/abs/2402.08296v1
- Date: Tue, 13 Feb 2024 08:50:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:06:33.398705
- Title: Multi-Level GNN Preconditioner for Solving Large Scale Problems
- Title(参考訳): 大規模問題解決のためのマルチレベルGNNプレコンディショナー
- Authors: Matthieu Nastorg (TAU, IFPEN), Jean-Marc Gratien (IFPEN), Thibault
Faney (IFPEN), Michele Alessandro Bucci (TAU), Guillaume Charpiat (TAU), Marc
Schoenauer (TAU)
- Abstract要約: グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。
本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。
提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale numerical simulations often come at the expense of daunting
computations. High-Performance Computing has enhanced the process, but adapting
legacy codes to leverage parallel GPU computations remains challenging.
Meanwhile, Machine Learning models can harness GPU computations effectively but
often struggle with generalization and accuracy. Graph Neural Networks (GNNs),
in particular, are great for learning from unstructured data like meshes but
are often limited to small-scale problems. Moreover, the capabilities of the
trained model usually restrict the accuracy of the data-driven solution. To
benefit from both worlds, this paper introduces a novel preconditioner
integrating a GNN model within a multi-level Domain Decomposition framework.
The proposed GNN-based preconditioner is used to enhance the efficiency of a
Krylov method, resulting in a hybrid solver that can converge with any desired
level of accuracy. The efficiency of the Krylov method greatly benefits from
the GNN preconditioner, which is adaptable to meshes of any size and shape, is
executed on GPUs, and features a multi-level approach to enforce the
scalability of the entire process. Several experiments are conducted to
validate the numerical behavior of the hybrid solver, and an in-depth analysis
of its performance is proposed to assess its competitiveness against a C++
legacy solver.
- Abstract(参考訳): 大規模な数値シミュレーションは、しばしばおびただしい計算を犠牲にしている。
ハイパフォーマンスコンピューティングはプロセスを強化したが、レガシコードを並列gpuの計算に適応させることは依然として困難である。
一方、機械学習モデルはGPU計算を効果的に活用できるが、一般化と精度に苦慮することが多い。
特にグラフニューラルネットワーク(GNN)は、メッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。
さらに、トレーニングされたモデルの能力は通常、データ駆動ソリューションの精度を制限する。
本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。
提案するgnnベースのプリコンディショナーは,krylov法の有効性を高めるために用いられ,任意の精度で収束可能なハイブリッドソルバが実現されている。
krylovメソッドの効率性は、任意のサイズと形状のメッシュに適応可能なgnnプリコンディショナから大きな恩恵を受け、gpu上で実行され、プロセス全体のスケーラビリティを強制するためのマルチレベルアプローチを備えている。
ハイブリッドソルバの数値的挙動を検証するため,いくつかの実験を行い,c++レガシーソルバとの競合性を評価するため,その性能の詳細な解析を行った。
関連論文リスト
- Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳(メタデータ) (2023-12-20T06:25:02Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳(メタデータ) (2022-10-14T03:43:05Z) - Inability of a graph neural network heuristic to outperform greedy
algorithms in solving combinatorial optimization problems like Max-Cut [0.0]
Nature Machine Intelligence 4, 367 (2022) において、Schuetzらは、様々な古典的なNPハード最適化問題を解決するためにニューラルネットワーク(GNN)を使用するスキームを提供している。
ネットワークがサンプルインスタンス上でどのようにトレーニングされているかを説明し、その結果のGNNは、広く使われているテクニックを適用して、その成功の可能性を判断する。
しかし, より綿密な検査により, このGNNの報告結果は勾配降下率よりもわずかに優れており, グリーディアルゴリズムにより性能が向上していることがわかった。
論文 参考訳(メタデータ) (2022-10-02T20:50:33Z) - On Fast Simulation of Dynamical System with Neural Vector Enhanced
Numerical Solver [59.13397937903832]
ニューラルベクトル(NeurVec)と呼ばれる深層学習に基づく補正手法を提案する。
NeurVecは、統合エラーを補償し、シミュレーションでより大きなタイムステップサイズを可能にする。
様々な複雑な力学系ベンチマークの実験により、NeurVecは顕著な一般化能力を示すことが示された。
論文 参考訳(メタデータ) (2022-08-07T09:02:18Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳(メタデータ) (2021-10-21T18:02:58Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳(メタデータ) (2021-08-09T08:45:47Z) - Local approximate Gaussian process regression for data-driven
constitutive laws: Development and comparison with neural networks [0.0]
局所近似過程回帰を用いて特定のひずみ空間における応力出力を予測する方法を示す。
FE設定におけるグローバル構造問題を解決する場合のlaGPR近似の局所的性質に適応するために、修正されたニュートン・ラフソン手法が提案される。
論文 参考訳(メタデータ) (2021-05-07T14:49:28Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳(メタデータ) (2020-09-08T13:26:51Z) - Train Like a (Var)Pro: Efficient Training of Neural Networks with
Variable Projection [2.7561479348365734]
ディープニューラルネットワーク(DNN)は、さまざまな従来の機械学習タスクで最先端のパフォーマンスを達成した。
本稿では,多くの最先端アプリケーションで発生するDNNのトレーニングについて考察する。
論文 参考訳(メタデータ) (2020-07-26T16:29:39Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。