論文の概要: Neural incomplete factorization: learning preconditioners for the conjugate gradient method

• arxiv url: http://arxiv.org/abs/2305.16368v3
• Date: Thu, 24 Oct 2024 14:06:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:50:37.286975
• Title: Neural incomplete factorization: learning preconditioners for the conjugate gradient method
• Title（参考訳）: 神経不完全因子化:共役勾配法のための学習前条件
• Authors: Paul Häusner, Ozan Öktem, Jens Sjölund,
• Abstract要約: 我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
• 参考スコア（独自算出の注目度）: 2.899792823251184
• License:
• Abstract: The convergence of the conjugate gradient method for solving large-scale and sparse linear equation systems depends on the spectral properties of the system matrix, which can be improved by preconditioning. In this paper, we develop a computationally efficient data-driven approach to accelerate the generation of effective preconditioners. We, therefore, replace the typically hand-engineered preconditioners by the output of graph neural networks. Our method generates an incomplete factorization of the matrix and is, therefore, referred to as neural incomplete factorization (NeuralIF). Optimizing the condition number of the linear system directly is computationally infeasible. Instead, we utilize a stochastic approximation of the Frobenius loss which only requires matrix-vector multiplications for efficient training. At the core of our method is a novel message-passing block, inspired by sparse matrix theory, that aligns with the objective of finding a sparse factorization of the matrix. We evaluate our proposed method on both synthetic problem instances and on problems arising from the discretization of the Poisson equation on varying domains. Our experiments show that by using data-driven preconditioners within the conjugate gradient method we are able to speed up the convergence of the iterative procedure. The code is available at https://github.com/paulhausner/neural-incomplete-factorization.
• Abstract（参考訳）: 大規模でスパースな線形方程式系を解くための共役勾配法の収束は、事前条件付けにより改善できるシステム行列のスペクトル特性に依存する。 本稿では,効率的なプレコンディショナー生成を高速化する,計算効率のよいデータ駆動手法を提案する。 したがって、手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。 線形システムの条件数を直接最適化することは、計算不可能である。 代わりに、効率的にトレーニングするために行列ベクトル乗算のみを必要とするフロベニウス損失の確率近似を利用する。 本手法のコアとなるのは,スパース行列理論に着想を得た新しいメッセージパッシングブロックであり,行列のスパース分解を求める目的と一致する。 提案手法は, 種々の領域におけるポアソン方程式の離散化に起因する, 合成問題事例と問題の両方について検討した。 実験の結果,共役勾配法においてデータ駆動型プレコンディショナーを用いることで,反復的手順の収束を高速化できることがわかった。 コードはhttps://github.com/paulhausner/neural-incomplete-factorizationで公開されている。

関連論文リスト

• Learning incomplete factorization preconditioners for GMRES [1.1519724914285523]
  本稿では,大規模スパース行列の不完全LU分解を生成するためのデータ駆動手法を開発する。 GMRES法において, 学習された近似因数分解を対応する線形方程式系のプレコンディショナーとして利用する。 私たちは、通常手動のアルゴリズムを、データに対してトレーニングされたグラフニューラルネットワークベースのアプローチに置き換えます。
  論文  参考訳（メタデータ） (2024-09-12T17:55:44Z)
• Generating gradients in the energy landscape using rectified linear type cost functions for efficiently solving 0/1 matrix factorization in Simulated Annealing [7.339479909020814]
  本研究では,エネルギー景観に勾配を適用して解法を容易にする手法を提案する。 また,探索過程におけるコスト関数の勾配を更新することにより,迅速に解を得る方法を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:19:47Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
  我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。 提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
  論文  参考訳（メタデータ） (2023-02-20T02:37:26Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
  融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。 本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。 数値実験により, 効率の面で有意な改善が得られることを示した。
  論文  参考訳（メタデータ） (2021-04-22T07:41:12Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。