論文の概要: Multi-Level GNN Preconditioner for Solving Large Scale Problems
- arxiv url: http://arxiv.org/abs/2402.08296v1
- Date: Tue, 13 Feb 2024 08:50:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-14 16:06:33.398705
- Title: Multi-Level GNN Preconditioner for Solving Large Scale Problems
- Title（参考訳）: 大規模問題解決のためのマルチレベルGNNプレコンディショナー
- Authors: Matthieu Nastorg (TAU, IFPEN), Jean-Marc Gratien (IFPEN), Thibault
Faney (IFPEN), Michele Alessandro Bucci (TAU), Guillaume Charpiat (TAU), Marc
Schoenauer (TAU)
- Abstract要約: グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。
本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。
提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-scale numerical simulations often come at the expense of daunting
computations. High-Performance Computing has enhanced the process, but adapting
legacy codes to leverage parallel GPU computations remains challenging.
Meanwhile, Machine Learning models can harness GPU computations effectively but
often struggle with generalization and accuracy. Graph Neural Networks (GNNs),
in particular, are great for learning from unstructured data like meshes but
are often limited to small-scale problems. Moreover, the capabilities of the
trained model usually restrict the accuracy of the data-driven solution. To
benefit from both worlds, this paper introduces a novel preconditioner
integrating a GNN model within a multi-level Domain Decomposition framework.
The proposed GNN-based preconditioner is used to enhance the efficiency of a
Krylov method, resulting in a hybrid solver that can converge with any desired
level of accuracy. The efficiency of the Krylov method greatly benefits from
the GNN preconditioner, which is adaptable to meshes of any size and shape, is
executed on GPUs, and features a multi-level approach to enforce the
scalability of the entire process. Several experiments are conducted to
validate the numerical behavior of the hybrid solver, and an in-depth analysis
of its performance is proposed to assess its competitiveness against a C++
legacy solver.
- Abstract（参考訳）: 大規模な数値シミュレーションは、しばしばおびただしい計算を犠牲にしている。
ハイパフォーマンスコンピューティングはプロセスを強化したが、レガシコードを並列gpuの計算に適応させることは依然として困難である。
一方、機械学習モデルはGPU計算を効果的に活用できるが、一般化と精度に苦慮することが多い。
特にグラフニューラルネットワーク(GNN)は、メッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。
さらに、トレーニングされたモデルの能力は通常、データ駆動ソリューションの精度を制限する。
本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。
提案するgnnベースのプリコンディショナーは,krylov法の有効性を高めるために用いられ,任意の精度で収束可能なハイブリッドソルバが実現されている。
krylovメソッドの効率性は、任意のサイズと形状のメッシュに適応可能なgnnプリコンディショナから大きな恩恵を受け、gpu上で実行され、プロセス全体のスケーラビリティを強制するためのマルチレベルアプローチを備えている。
ハイブリッドソルバの数値的挙動を検証するため,いくつかの実験を行い,c++レガシーソルバとの競合性を評価するため,その性能の詳細な解析を行った。
関連論文リスト
- Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - A model-constrained Discontinuous Galerkin Network (DGNet) for Compressible Euler Equations with Out-of-Distribution Generalization [0.0]
圧縮可能なオイラー方程式を解くために,モデル制約付き不連続なGalerkin Network (DGNet) アプローチを開発した。
DGNet法の有効性, 安定性, 一般化性を検証するため, 1次元および2次元圧縮可能なオイラー方程式問題に対する数値計算結果を提案する。
論文 参考訳（メタデータ） (2024-09-27T01:13:38Z) - Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。
UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。
提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
論文 参考訳（メタデータ） (2024-08-29T10:43:55Z) - Enhancing GNNs Performance on Combinatorial Optimization by Recurrent Feature Update [0.09986418756990156]
本稿では,組合せ最適化(CO)問題を効率よく解くために,GNNのパワーを活用して,QRF-GNNと呼ぶ新しいアルゴリズムを提案する。
QUBO緩和による損失関数の最小化による教師なし学習に依存している。
実験の結果、QRF-GNNは既存の学習ベースアプローチを大幅に上回り、最先端の手法に匹敵することがわかった。
論文 参考訳（メタデータ） (2024-07-23T13:34:35Z) - Model-Based Control with Sparse Neural Dynamics [23.961218902837807]
モデル学習と予測制御を統合した新しいフレームワークを提案する。
我々は,既存の最先端手法よりもクローズドループ性能を向上できることを示す。
論文 参考訳（メタデータ） (2023-12-20T06:25:02Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳（メタデータ） (2023-09-02T11:01:16Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - Efficient and Robust Mixed-Integer Optimization Methods for Training
Binarized Deep Neural Networks [0.07614628596146598]
二元活性化関数と連続または整数重み付きディープニューラルネットワーク(BDNN)について検討する。
BDNNは、古典的な混合整数計画解法により、大域的最適性に解けるような、有界な重み付き混合整数線形プログラムとして再構成可能であることを示す。
トレーニング中にBDNNの堅牢性を強制するロバストモデルが初めて提示される。
論文 参考訳（メタデータ） (2021-10-21T18:02:58Z) - Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge
Computing: A Contextual-Bandit Approach [81.5261621619557]
階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。
まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。
そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
論文 参考訳（メタデータ） (2021-08-09T08:45:47Z) - Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。
最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。
偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。
本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
論文 参考訳（メタデータ） (2020-09-08T13:26:51Z) - Combining Deep Learning and Optimization for Security-Constrained
Optimal Power Flow [94.24763814458686]
セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。
SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。
本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2020-07-14T12:38:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。