論文の概要: Neural incomplete factorization: learning preconditioners for the conjugate gradient method

• arxiv url: http://arxiv.org/abs/2305.16368v2
• Date: Mon, 5 Feb 2024 16:20:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 06:30:27.737071
• Title: Neural incomplete factorization: learning preconditioners for the conjugate gradient method
• Title（参考訳）: 神経不完全因子分解:共役勾配法による学習前条件
• Authors: Paul H\"ausner, Ozan \"Oktem, Jens Sj\"olund
• Abstract要約: 我々は、手書きのアルゴリズムをニューラルネットワークに置き換えるデータ駆動アプローチを開発した。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding suitable preconditioners to accelerate iterative solution methods, such as the conjugate gradient method, is an active area of research. In this paper, we develop a computationally efficient data-driven approach to replace the typically hand-engineered algorithms with neural networks. Optimizing the condition number of the linear system directly is computationally infeasible. Instead, our method generates an incomplete factorization of the matrix and is, therefore, referred to as neural incomplete factorization (NeuralIF). For efficient training, we utilize a stochastic approximation of the Frobenius loss which only requires matrix-vector multiplications. At the core of our method is a novel messagepassing block, inspired by sparse matrix theory, that aligns with the objective of finding a sparse factorization of the matrix. By replacing conventional preconditioners used within the conjugate gradient method by data-driven models based on graph neural networks, we accelerate the iterative solving procedure. We evaluate our proposed method on both a synthetic and a real-world problem arising from scientific computing and show its ability to reduce the solving time while remaining computationally efficient.
• Abstract（参考訳）: 共役勾配法のような反復解法を加速するための適切な前提条件を見つけることは、研究の活発な領域である。 本稿では,手作業によるアルゴリズムをニューラルネットワークに置き換える,計算効率のよいデータ駆動手法を提案する。 線形システムの条件数を直接最適化することは計算不可能である。 その代わり、この手法は行列の不完全因子分解を生成し、それを神経不完全因子分解(neuralif)と呼ぶ。 効率的なトレーニングには,行列ベクトル乗算のみを必要とするフロベニウス損失の確率近似を用いる。 本手法のコアとなるのは,スパース行列理論にインスパイアされた新しいメッセージパッシングブロックであり,行列のスパース分解を求める目的と一致する。 共役勾配法で使用される従来のプリコンディショナーをグラフニューラルネットワークに基づくデータ駆動モデルに置き換えることで,反復解法を高速化する。 提案手法は,科学計算から生じる合成問題と実世界の問題の両方について評価し,計算効率を保ちながら解解時間を短縮できることを示す。

関連論文リスト

• Learning incomplete factorization preconditioners for GMRES [1.1519724914285523]
  本稿では,大規模スパース行列の不完全LU分解を生成するためのデータ駆動手法を開発する。 GMRES法において, 学習された近似因数分解を対応する線形方程式系のプレコンディショナーとして利用する。 私たちは、通常手動のアルゴリズムを、データに対してトレーニングされたグラフニューラルネットワークベースのアプローチに置き換えます。
  論文  参考訳（メタデータ） (2024-09-12T17:55:44Z)
• Generating gradients in the energy landscape using rectified linear type cost functions for efficiently solving 0/1 matrix factorization in Simulated Annealing [7.339479909020814]
  本研究では,エネルギー景観に勾配を適用して解法を容易にする手法を提案する。 また,探索過程におけるコスト関数の勾配を更新することにより,迅速に解を得る方法を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:19:47Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
  我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。 提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
  論文  参考訳（メタデータ） (2023-02-20T02:37:26Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
  融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。 本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。 数値実験により, 効率の面で有意な改善が得られることを示した。
  論文  参考訳（メタデータ） (2021-04-22T07:41:12Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。