論文の概要: Learning incomplete factorization preconditioners for GMRES

• arxiv url: http://arxiv.org/abs/2409.08262v1
• Date: Thu, 12 Sep 2024 17:55:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-13 15:24:38.793400
• Title: Learning incomplete factorization preconditioners for GMRES
• Title（参考訳）: GMRESのための不完全分解プレコンディショナーの学習
• Authors: Paul Häusner, Aleix Nieto Juscafresa, Jens Sjölund,
• Abstract要約: 本稿では,大規模スパース行列の不完全LU分解を生成するためのデータ駆動手法を開発する。 GMRES法において, 学習された近似因数分解を対応する線形方程式系のプレコンディショナーとして利用する。 私たちは、通常手動のアルゴリズムを、データに対してトレーニングされたグラフニューラルネットワークベースのアプローチに置き換えます。
• 参考スコア（独自算出の注目度）: 1.1519724914285523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we develop a data-driven approach to generate incomplete LU factorizations of large-scale sparse matrices. The learned approximate factorization is utilized as a preconditioner for the corresponding linear equation system in the GMRES method. Incomplete factorization methods are one of the most commonly applied algebraic preconditioners for sparse linear equation systems and are able to speed up the convergence of Krylov subspace methods. However, they are sensitive to hyper-parameters and might suffer from numerical breakdown or lead to slow convergence when not properly applied. We replace the typically hand-engineered algorithms with a graph neural network based approach that is trained against data to predict an approximate factorization. This allows us to learn preconditioners tailored for a specific problem distribution. We analyze and empirically evaluate different loss functions to train the learned preconditioners and show their effectiveness to decrease the number of GMRES iterations and improve the spectral properties on our synthetic dataset. The code is available at https://github.com/paulhausner/neural-incomplete-factorization.
• Abstract（参考訳）: 本稿では,大規模スパース行列の不完全LU分解を生成するためのデータ駆動手法を開発する。 GMRES法において, 学習された近似因数分解を対応する線形方程式系のプレコンディショナーとして利用する。 不完全分解法はスパース線形方程式系において最もよく用いられる代数的プレコンディショナーの1つであり、クリロフ部分空間法の収束を高速化することができる。 しかし、それらはハイパーパラメータに敏感であり、数値的な分解に悩まされるか、適切に適用されないと収束が遅くなる可能性がある。 我々は、手書きのアルゴリズムをグラフニューラルネットワークベースのアプローチに置き換え、近似因数分解を予測するためにデータに対してトレーニングする。 これにより、特定の問題分布に適したプレコンディショナーを学習できます。 本研究では,学習済みプレコンディショナーの学習における損失関数の解析と評価を行い,GMRESの反復回数を減らし,合成データセットのスペクトル特性を改善する効果を示す。 コードはhttps://github.com/paulhausner/neural-incomplete-factorizationで公開されている。

関連論文リスト

• Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers [42.69799418639716]
  深層学習モデルは、共役勾配 (CG) 法のような線形解法を反復する際の残差を予条件として用いることができる。 ニューラルネットワークモデルは、この設定でうまく近似するために、膨大な数のパラメータを必要とする。 本研究では,線形代数学から確立したプレコンディショナーを思い出し,GNNの学習の出発点として利用する。
  論文  参考訳（メタデータ） (2024-05-24T13:44:30Z)
• Linear Recursive Feature Machines provably recover low-rank matrices [17.530511273384786]
  我々は、RFMが次元還元を行うための最初の理論的保証を開発する。 反復重み付き最小二乗法 (IRLS) アルゴリズムを一般化する。 我々の結果は、ニューラルネットワークにおける特徴学習と古典的なスパースリカバリアルゴリズムの関連性に光を当てた。
  論文  参考訳（メタデータ） (2024-01-09T13:44:12Z)
• The Decimation Scheme for Symmetric Matrix Factorization [0.0]
  行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。 我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。 本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:53:45Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem [7.132368785057316]
  本稿では、LASSOに基づく効率的なMSC解法を用いて、辞書に基づく行列分解と正準多進分解を計算する方法を示す。 超スペクトル画像処理と化学計測の文脈における辞書に基づく行列分解と正準多進分解の計算に、LASSOに基づく効率的なMSC解法を適用する方法を示す。
  論文  参考訳（メタデータ） (2021-11-24T10:32:48Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Meta-Solver for Neural Ordinary Differential Equations [77.8918415523446]
  本研究では,ソルバ空間の変動がニューラルODEの性能を向上する方法について検討する。 解法パラメータ化の正しい選択は, 敵の攻撃に対するロバスト性の観点から, 神経odesモデルに大きな影響を与える可能性がある。
  論文  参考訳（メタデータ） (2021-03-15T17:26:34Z)
• GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
  ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。 各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。 また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
  論文  参考訳（メタデータ） (2021-02-16T11:45:35Z)
• Activation Relaxation: A Local Dynamical Approximation to Backpropagation in the Brain [62.997667081978825]
  活性化緩和(AR)は、バックプロパゲーション勾配を力学系の平衡点として構成することで動機付けられる。 我々のアルゴリズムは、正しいバックプロパゲーション勾配に迅速かつ堅牢に収束し、単一のタイプの計算単位しか必要とせず、任意の計算グラフで操作できる。
  論文  参考訳（メタデータ） (2020-09-11T11:56:34Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Implicit differentiation of Lasso-type models for hyperparameter optimization [82.73138686390514]
  ラッソ型問題に適した行列逆転のない効率的な暗黙微分アルゴリズムを提案する。 提案手法は,解の空間性を利用して高次元データにスケールする。
  論文  参考訳（メタデータ） (2020-02-20T18:43:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。