論文の概要: Learning incomplete factorization preconditioners for GMRES

• arxiv url: http://arxiv.org/abs/2409.08262v2
• Date: Wed, 11 Dec 2024 12:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:58:18.641074
• Title: Learning incomplete factorization preconditioners for GMRES
• Title（参考訳）: GMRESのための不完全分解プレコンディショナーの学習
• Authors: Paul Häusner, Aleix Nieto Juscafresa, Jens Sjölund,
• Abstract要約: 行列分解を直接近似するためにグラフニューラルネットワークを訓練する。 グラフニューラルネットワークアーキテクチャを適用することで、出力自体がスパースであることを保証することができます。 GMRESの繰り返し回数を減らし、合成データに対するスペクトル特性を改善する効果を示す。
• 参考スコア（独自算出の注目度）: 1.1519724914285523
• License:
• Abstract: Incomplete LU factorizations of sparse matrices are widely used as preconditioners in Krylov subspace methods to speed up solving linear systems. Unfortunately, computing the preconditioner itself can be time-consuming and sensitive to hyper-parameters. Instead, we replace the hand-engineered algorithm with a graph neural network that is trained to approximate the matrix factorization directly. To apply the output of the neural network as a preconditioner, we propose an output activation function that guarantees that the predicted factorization is invertible. Further, applying a graph neural network architecture allows us to ensure that the output itself is sparse which is desirable from a computational standpoint. We theoretically analyze and empirically evaluate different loss functions to train the learned preconditioners and show their effectiveness in decreasing the number of GMRES iterations and improving the spectral properties on synthetic data. The code is available at https://github.com/paulhausner/neural-incomplete-factorization.
• Abstract（参考訳）: スパース行列の不完全LU分解は、線形システムの解法を高速化するクリロフ部分空間法におけるプレコンディショナーとして広く用いられている。 残念ながら、プレコンディショナー自体の計算には時間がかかり、ハイパーパラメータに敏感である。 代わりに、手作業によるアルゴリズムをグラフニューラルネットワークに置き換え、行列の分解を直接近似するように訓練する。 ニューラルネットワークの出力をプレコンディショナとして適用するために,予測因数分解が可逆であることを保証した出力活性化関数を提案する。 さらに、グラフニューラルネットワークアーキテクチャを適用することで、計算の観点から望ましい出力自体がスパースであることを保証することができる。 本研究は,学習済みプレコンディショナーを訓練するための異なる損失関数を理論的に解析し,実験により評価し,GMRESのイテレーション数を減少させ,合成データに対するスペクトル特性を改善する効果を示す。 コードはhttps://github.com/paulhausner/neural-incomplete-factorizationで公開されている。

関連論文リスト

• Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [40.6591136324878]
  我々は,従来のプリコンディショナーよりもシステムの条件数を大幅に削減するプリコンディショナーを得るために,GNNを訓練する。 本手法は、パラメトリック偏微分方程式の重要なクラスにおいて、古典的およびニューラルネットワークに基づく手法よりも優れている。
  論文  参考訳（メタデータ） (2024-05-24T13:44:30Z)
• Linear Recursive Feature Machines provably recover low-rank matrices [17.530511273384786]
  我々は、RFMが次元還元を行うための最初の理論的保証を開発する。 反復重み付き最小二乗法 (IRLS) アルゴリズムを一般化する。 我々の結果は、ニューラルネットワークにおける特徴学習と古典的なスパースリカバリアルゴリズムの関連性に光を当てた。
  論文  参考訳（メタデータ） (2024-01-09T13:44:12Z)
• The Decimation Scheme for Symmetric Matrix Factorization [0.0]
  行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。 我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。 本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:53:45Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。