論文の概要: Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers

• arxiv url: http://arxiv.org/abs/2405.15557v2
• Date: Thu, 19 Dec 2024 16:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:26:49.699001
• Title: Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers
• Title（参考訳）: 線形代数からの学習:共役勾配解に対するプレコンディショナ設計のためのグラフニューラルネットワークアプローチ
• Authors: Vladislav Trifonov, Alexander Rudikov, Oleg Iliev, Yuri M. Laevsky, Ivan Oseledets, Ekaterina Muravleva,
• Abstract要約: 大規模線形系は現代の計算科学と工学においてユビキタスである。 深層学習モデルは線形解法の反復中に非線形プレコンディショナーとして使用できる。 小グラフニューラルネットワーク(GNN)は、プリコンディショナーを設計するための有望なツールであることが示されている。
• 参考スコア（独自算出の注目度）: 40.6591136324878
• License:
• Abstract: Large linear systems are ubiquitous in modern computational science and engineering. The main recipe for solving them is the use of Krylov subspace iterative methods with well-designed preconditioners. Deep learning models can be used as nonlinear preconditioners during the iteration of linear solvers such as the conjugate gradient (CG) method. Neural network models require an enormous number of parameters to approximate well in this setup. Another approach is to take advantage of small graph neural networks (GNNs) to construct preconditioners with predefined sparsity patterns. Recently, GNNs have been shown to be a promising tool for designing preconditioners to reduce the overall computational cost of iterative methods by constructing them more efficiently than with classical linear algebra techniques. However, preconditioners designed with these approaches cannot outperform those designed with classical methods in terms of the number of iterations in CG. In our work, we recall well-established preconditioners from linear algebra and use them as a starting point for training the GNN to obtain preconditioners that reduce the condition number of the system more significantly. Numerical experiments show that our approach outperforms both classical and neural network-based methods for an important class of parametric partial differential equations. We also provide a heuristic justification for the loss function used and show that preconditioners obtained by learning with this loss function reduce the condition number in a more desirable way for CG.
• Abstract（参考訳）: 大規模線形系は現代の計算科学と工学においてユビキタスである。 それらを解決するための主要なレシピは、よく設計された事前条件付きクリロフ部分空間イテレーティブメソッドの使用である。 深層学習モデルは、共役勾配(CG)法のような線形解法を繰り返す際に非線形プレコンディショナーとして使用できる。 ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。 もう一つのアプローチは、小さなグラフニューラルネットワーク(GNN)を利用して、事前に定義された空間パターンを持つプレコンディショナーを構築することである。 近年,GNNは,従来の線形代数手法よりも効率的に構築することで,反復的手法の全体的な計算コストを削減するために,プレコンディショナーを設計するための有望なツールであることが示されている。 しかし,これらの手法で設計したプレコンディショナーは,CGの反復回数において,古典的手法で設計したコンディショナーより優れているとは言い難い。 本研究では, 線形代数から確立された事前条件を想起し, GNN を訓練するための出発点として利用して, システムの条件数を大幅に削減する事前条件を求める。 数値実験により,本手法はパラメトリック偏微分方程式の重要なクラスにおいて,古典的およびニューラルネットワークに基づく手法よりも優れていることが示された。 また,この損失関数を用いて学習したプレコンディショナーが,CGにおいてより望ましい方法で条件数を減少させることを示す。

関連論文リスト

• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Enhancing Data-Assimilation in CFD using Graph Neural Networks [0.0]
  本稿では,グラフニューラルネットワーク(GNN)モデルによる随伴最適化に基づく,流体力学に応用されたデータ同化のための新しい機械学習手法を提案する。 我々は,有限要素法(FEM)の解法に基づく直接数値シミュレーションを用いて,GNNモデルと解法の間の2次元のインターフェースにより,GNNの予測をFEM解析の処理後ステップに組み込むことができることを示す。
  論文  参考訳（メタデータ） (2023-11-29T19:11:40Z)
• Invertible Neural Networks for Graph Prediction [22.140275054568985]
  本研究では,ディープ・インバーチブル・ニューラルネットワークを用いた条件生成について述べる。 私たちの目標は,前処理と後処理の予測と生成を同時に行うことにあるので,エンドツーエンドのトレーニングアプローチを採用しています。
  論文  参考訳（メタデータ） (2022-06-02T17:28:33Z)
• NeuralEF: Deconstructing Kernels by Deep Neural Networks [47.54733625351363]
  従来のNystr"om式に基づく非パラメトリックなソリューションはスケーラビリティの問題に悩まされる。 最近の研究はパラメトリックなアプローチ、すなわち固有関数を近似するためにニューラルネットワークを訓練している。 教師なしおよび教師なしの学習問題の空間に一般化する新たな目的関数を用いて,これらの問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-04-30T05:31:07Z)
• Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling and Design [68.1682448368636]
  本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。 異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。 出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
  論文  参考訳（メタデータ） (2022-03-29T21:18:47Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。