論文の概要: Learning incomplete factorization preconditioners for GMRES

• arxiv url: http://arxiv.org/abs/2409.08262v2
• Date: Wed, 11 Dec 2024 12:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-12 13:58:18.641074
• Title: Learning incomplete factorization preconditioners for GMRES
• Title（参考訳）: GMRESのための不完全分解プレコンディショナーの学習
• Authors: Paul Häusner, Aleix Nieto Juscafresa, Jens Sjölund,
• Abstract要約: 行列分解を直接近似するためにグラフニューラルネットワークを訓練する。 グラフニューラルネットワークアーキテクチャを適用することで、出力自体がスパースであることを保証することができます。 GMRESの繰り返し回数を減らし、合成データに対するスペクトル特性を改善する効果を示す。
• 参考スコア（独自算出の注目度）: 1.1519724914285523
• License:
• Abstract: Incomplete LU factorizations of sparse matrices are widely used as preconditioners in Krylov subspace methods to speed up solving linear systems. Unfortunately, computing the preconditioner itself can be time-consuming and sensitive to hyper-parameters. Instead, we replace the hand-engineered algorithm with a graph neural network that is trained to approximate the matrix factorization directly. To apply the output of the neural network as a preconditioner, we propose an output activation function that guarantees that the predicted factorization is invertible. Further, applying a graph neural network architecture allows us to ensure that the output itself is sparse which is desirable from a computational standpoint. We theoretically analyze and empirically evaluate different loss functions to train the learned preconditioners and show their effectiveness in decreasing the number of GMRES iterations and improving the spectral properties on synthetic data. The code is available at https://github.com/paulhausner/neural-incomplete-factorization.
• Abstract（参考訳）: スパース行列の不完全LU分解は、線形システムの解法を高速化するクリロフ部分空間法におけるプレコンディショナーとして広く用いられている。 残念ながら、プレコンディショナー自体の計算には時間がかかり、ハイパーパラメータに敏感である。 代わりに、手作業によるアルゴリズムをグラフニューラルネットワークに置き換え、行列の分解を直接近似するように訓練する。 ニューラルネットワークの出力をプレコンディショナとして適用するために,予測因数分解が可逆であることを保証した出力活性化関数を提案する。 さらに、グラフニューラルネットワークアーキテクチャを適用することで、計算の観点から望ましい出力自体がスパースであることを保証することができる。 本研究は,学習済みプレコンディショナーを訓練するための異なる損失関数を理論的に解析し,実験により評価し,GMRESのイテレーション数を減少させ,合成データに対するスペクトル特性を改善する効果を示す。 コードはhttps://github.com/paulhausner/neural-incomplete-factorizationで公開されている。

関連論文リスト

• Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [42.69799418639716]
  深層学習モデルは、共役勾配 (CG) 法のような線形解法を反復する際の残差を予条件として用いることができる。 ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。 本研究では,線形代数学から確立したプレコンディショナーを思い出し,GNNの学習の出発点として利用する。
  論文  参考訳（メタデータ） (2024-05-24T13:44:30Z)
• Linear Recursive Feature Machines provably recover low-rank matrices [17.530511273384786]
  我々は、RFMが次元還元を行うための最初の理論的保証を開発する。 反復重み付き最小二乗法 (IRLS) アルゴリズムを一般化する。 我々の結果は、ニューラルネットワークにおける特徴学習と古典的なスパースリカバリアルゴリズムの関連性に光を当てた。
  論文  参考訳（メタデータ） (2024-01-09T13:44:12Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem [7.132368785057316]
  本稿では、LASSOに基づく効率的なMSC解法を用いて、辞書に基づく行列分解と正準多進分解を計算する方法を示す。 超スペクトル画像処理と化学計測の文脈における辞書に基づく行列分解と正準多進分解の計算に、LASSOに基づく効率的なMSC解法を適用する方法を示す。
  論文  参考訳（メタデータ） (2021-11-24T10:32:48Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。