論文の概要: Learning Sparse Approximate Inverse Preconditioners for Conjugate Gradient Solvers on GPUs

• arxiv url: http://arxiv.org/abs/2510.27517v1
• Date: Fri, 31 Oct 2025 14:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 17:52:16.135425
• Title: Learning Sparse Approximate Inverse Preconditioners for Conjugate Gradient Solvers on GPUs
• Title（参考訳）: GPU上の共役勾配解に対するスパース近似逆プレコンディショナーの学習
• Authors: Zherui Yang, Zhehao Li, Kangbo Lyu, Yixuan Li, Tao Du, Ligang Liu,
• Abstract要約: 共役勾配解法 (CG) は対称および正定値線形系 Ax=b を解くための一般的な方法である。 既存の学習ベースの手法では、しばしばグラフニューラルネットワーク(GNN)を使用して、性能を改善し、構築を高速化する。 本稿では,GPUフレンドリなプリコンディショナを生成する学習ベース手法を提案し,特にGNNを用いてSPAI(スパース近似逆)プリコンディショナを構築する。
• 参考スコア（独自算出の注目度）: 25.22023084590467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The conjugate gradient solver (CG) is a prevalent method for solving symmetric and positive definite linear systems Ax=b, where effective preconditioners are crucial for fast convergence. Traditional preconditioners rely on prescribed algorithms to offer rigorous theoretical guarantees, while limiting their ability to exploit optimization from data. Existing learning-based methods often utilize Graph Neural Networks (GNNs) to improve the performance and speed up the construction. However, their reliance on incomplete factorization leads to significant challenges: the associated triangular solve hinders GPU parallelization in practice, and introduces long-range dependencies which are difficult for GNNs to model. To address these issues, we propose a learning-based method to generate GPU-friendly preconditioners, particularly using GNNs to construct Sparse Approximate Inverse (SPAI) preconditioners, which avoids triangular solves and requires only two matrix-vector products at each CG step. The locality of matrix-vector product is compatible with the local propagation mechanism of GNNs. The flexibility of GNNs also allows our approach to be applied in a wide range of scenarios. Furthermore, we introduce a statistics-based scale-invariant loss function. Its design matches CG's property that the convergence rate depends on the condition number, rather than the absolute scale of A, leading to improved performance of the learned preconditioner. Evaluations on three PDE-derived datasets and one synthetic dataset demonstrate that our method outperforms standard preconditioners (Diagonal, IC, and traditional SPAI) and previous learning-based preconditioners on GPUs. We reduce solution time on GPUs by 40%-53% (68%-113% faster), along with better condition numbers and superior generalization performance. Source code available at https://github.com/Adversarr/LearningSparsePreconditioner4GPU
• Abstract（参考訳）: 共役勾配解法(CG)は対称および正定値線形系 Ax=b を解くための一般的な方法である。 従来のプリコンディショナーは、厳密な理論的保証を提供するために所定のアルゴリズムに依存し、データから最適化を利用する能力を制限する。 既存の学習ベースの手法では、しばしばグラフニューラルネットワーク(GNN)を使用して、性能を改善し、構築を高速化する。 しかし、それらの不完全因子化への依存は、関連する三角形の解がGPUの並列化を妨げ、GNNがモデル化するのが難しい長距離依存を導入するという、大きな課題に繋がる。 これらの問題に対処するために、GNNを用いてSparse Approximate Inverse(SPAI)プリコンディショナーを構築するためのGPUフレンドリなプリコンディショナーを生成する学習ベースの方法を提案する。 行列ベクトル積の局所性は、GNNの局所的な伝播機構と互換性がある。 GNNの柔軟性は、我々のアプローチを幅広いシナリオに適用することを可能にする。 さらに,統計に基づくスケール不変損失関数を導入する。 その設計は、収束率はAの絶対スケールではなく条件数に依存するというCGの特性と一致し、学習済みプレコンディショナーの性能が向上する。 PDE由来の3つのデータセットと1つの合成データセットの評価結果から,本手法はGPU上での標準プレコンディショナ(対角,IC,従来のSPAI)および従来の学習ベースプレコンディショナよりも優れていることが示された。 我々は、より優れた条件数と優れた一般化性能とともに、GPU上の解時間を40%-53%削減する(68%～113%高速化)。 ソースコードはhttps://github.com/Adversarr/LearningSparsePreconditioner4GPUで入手できる。

関連論文リスト

• nuGPR: GPU-Accelerated Gaussian Process Regression with Iterative Algorithms and Low-Rank Approximations [3.8715578341717207]
  本稿では,GPRトレーニングに伴う高コストの課題に対処する新しいフレームワークであるnuGPRを提案する。 我々のフレームワークは、GPRの重要なステップにおける計算量を削減するために、数値線形代数からのいくつかのアイデアを含んでおり、それらを組み合わせてエンドツーエンドのトレーニングアルゴリズムを確立する。 nuGPRは、さまざまな合成および実世界のデータセット上で、トレーニング時間を最大2倍、ピークメモリ消費を最大12倍削減する。
  論文  参考訳（メタデータ） (2025-10-14T04:06:02Z)
• Geometric Algebra Planes: Convex Implicit Neural Volumes [70.12234371845445]
  GA-Planes はスパース低ランク係数と低分解能行列と等価であることを示す。 また,GA-Planeは既存の表現にも適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-11-20T18:21:58Z)
• Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [40.6591136324878]
  我々は,従来のプリコンディショナーよりもシステムの条件数を大幅に削減するプリコンディショナーを得るために,GNNを訓練する。 本手法は、パラメトリック偏微分方程式の重要なクラスにおいて、古典的およびニューラルネットワークに基づく手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-24T13:44:30Z)
• Multi-Level GNN Preconditioner for Solving Large Scale Problems [0.0]
  グラフニューラルネットワーク(GNN)はメッシュのような非構造化データから学ぶのに最適だが、小さな問題に制限されることが多い。 本稿では,GNNモデルを多レベルドメイン分解フレームワークに統合した新しいプレコンディショナーを提案する。 提案したGNNベースのプレコンディショナーは、Krylov法の効率を高めるために使用され、任意の精度の要求レベルに収束できるハイブリッド・ソルバとなる。
  論文  参考訳（メタデータ） (2024-02-13T08:50:14Z)
• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Kernel methods through the roof: handling billions of points efficiently [94.31450736250918]
  カーネル法は、非パラメトリック学習に対するエレガントで原則化されたアプローチを提供するが、今のところ大規模な問題ではほとんど利用できない。 最近の進歩は、最適化、数値線形代数、ランダム射影など、多くのアルゴリズム的アイデアの利点を示している。 ここでは、これらの取り組みをさらに進めて、GPUハードウェアを最大限に活用する解決器を開発し、テストする。
  論文  参考訳（メタデータ） (2020-06-18T08:16:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。