論文の概要: Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers

• arxiv url: http://arxiv.org/abs/2405.15557v2
• Date: Thu, 19 Dec 2024 16:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:26:49.699001
• Title: Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers
• Title（参考訳）: 線形代数からの学習:共役勾配解に対するプレコンディショナ設計のためのグラフニューラルネットワークアプローチ
• Authors: Vladislav Trifonov, Alexander Rudikov, Oleg Iliev, Yuri M. Laevsky, Ivan Oseledets, Ekaterina Muravleva,
• Abstract要約: 大規模線形系は現代の計算科学と工学においてユビキタスである。 深層学習モデルは線形解法の反復中に非線形プレコンディショナーとして使用できる。 小グラフニューラルネットワーク(GNN)は、プリコンディショナーを設計するための有望なツールであることが示されている。
• 参考スコア（独自算出の注目度）: 40.6591136324878
• License:
• Abstract: Large linear systems are ubiquitous in modern computational science and engineering. The main recipe for solving them is the use of Krylov subspace iterative methods with well-designed preconditioners. Deep learning models can be used as nonlinear preconditioners during the iteration of linear solvers such as the conjugate gradient (CG) method. Neural network models require an enormous number of parameters to approximate well in this setup. Another approach is to take advantage of small graph neural networks (GNNs) to construct preconditioners with predefined sparsity patterns. Recently, GNNs have been shown to be a promising tool for designing preconditioners to reduce the overall computational cost of iterative methods by constructing them more efficiently than with classical linear algebra techniques. However, preconditioners designed with these approaches cannot outperform those designed with classical methods in terms of the number of iterations in CG. In our work, we recall well-established preconditioners from linear algebra and use them as a starting point for training the GNN to obtain preconditioners that reduce the condition number of the system more significantly. Numerical experiments show that our approach outperforms both classical and neural network-based methods for an important class of parametric partial differential equations. We also provide a heuristic justification for the loss function used and show that preconditioners obtained by learning with this loss function reduce the condition number in a more desirable way for CG.
• Abstract（参考訳）: 大規模線形系は現代の計算科学と工学においてユビキタスである。 それらを解決するための主要なレシピは、よく設計された事前条件付きクリロフ部分空間イテレーティブメソッドの使用である。 深層学習モデルは、共役勾配(CG)法のような線形解法を繰り返す際に非線形プレコンディショナーとして使用できる。 ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。 もう一つのアプローチは、小さなグラフニューラルネットワーク(GNN)を利用して、事前に定義された空間パターンを持つプレコンディショナーを構築することである。 近年,GNNは,従来の線形代数手法よりも効率的に構築することで,反復的手法の全体的な計算コストを削減するために,プレコンディショナーを設計するための有望なツールであることが示されている。 しかし,これらの手法で設計したプレコンディショナーは,CGの反復回数において,古典的手法で設計したコンディショナーより優れているとは言い難い。 本研究では, 線形代数から確立された事前条件を想起し, GNN を訓練するための出発点として利用して, システムの条件数を大幅に削減する事前条件を求める。 数値実験により,本手法はパラメトリック偏微分方程式の重要なクラスにおいて,古典的およびニューラルネットワークに基づく手法よりも優れていることが示された。 また,この損失関数を用いて学習したプレコンディショナーが,CGにおいてより望ましい方法で条件数を減少させることを示す。

関連論文リスト

• On The Concurrence of Layer-wise Preconditioning Methods and Provable Feature Learning [22.486361028522374]
  統計的観点から,レイヤワイドプレコンディショニング手法が確実に必要であることを示す。 我々は,SGDが理想的等方性入力を超えて拡張する際の準最適特徴であることを示す。 我々は、Adamプリコンディショニングやバッチノームのような標準ツールがこれらの問題を緩やかに緩和することを示します。
  論文  参考訳（メタデータ） (2025-02-03T19:08:32Z)
• Learning incomplete factorization preconditioners for GMRES [1.1519724914285523]
  行列分解を直接近似するためにグラフニューラルネットワークを訓練する。 グラフニューラルネットワークアーキテクチャを適用することで、出力自体がスパースであることを保証することができます。 GMRESの繰り返し回数を減らし、合成データに対するスペクトル特性を改善する効果を示す。
  論文  参考訳（メタデータ） (2024-09-12T17:55:44Z)
• Graph Neural Preconditioners for Iterative Solutions of Sparse Linear Systems [5.083469153675402]
  汎用プリコンディショナーとしてグラフニューラルネットワークを提案する。 多くの問題に対して魅力的なパフォーマンスを示しており、メインストリームのプレコンディショナーがパフォーマンスが悪い場合にも使用できる。
  論文  参考訳（メタデータ） (2024-06-02T17:18:41Z)
• Preconditioning for a Variational Quantum Linear Solver [0.0]
  我々は,必要アンザッツ深さの顕著な減少を数値的に示し,プレコンディショニングが量子アルゴリズムに有用であることを示す。 この結果から, プリコンディショニングなどの古典的計算手法と量子アルゴリズムを組み合わせることで, NISQアルゴリズムの性能を大幅に向上させることができることが示唆された。
  論文  参考訳（メタデータ） (2023-12-25T08:50:22Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
  本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。 LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
  論文  参考訳（メタデータ） (2020-12-21T06:40:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。