論文の概要: Neural incomplete factorization: learning preconditioners for the
conjugate gradient method
- arxiv url: http://arxiv.org/abs/2305.16368v2
- Date: Mon, 5 Feb 2024 16:20:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-07 06:30:27.737071
- Title: Neural incomplete factorization: learning preconditioners for the
conjugate gradient method
- Title(参考訳): 神経不完全因子分解:共役勾配法による学習前条件
- Authors: Paul H\"ausner, Ozan \"Oktem, Jens Sj\"olund
- Abstract要約: 我々は、手書きのアルゴリズムをニューラルネットワークに置き換えるデータ駆動アプローチを開発した。
本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Finding suitable preconditioners to accelerate iterative solution methods,
such as the conjugate gradient method, is an active area of research. In this
paper, we develop a computationally efficient data-driven approach to replace
the typically hand-engineered algorithms with neural networks. Optimizing the
condition number of the linear system directly is computationally infeasible.
Instead, our method generates an incomplete factorization of the matrix and is,
therefore, referred to as neural incomplete factorization (NeuralIF). For
efficient training, we utilize a stochastic approximation of the Frobenius loss
which only requires matrix-vector multiplications. At the core of our method is
a novel messagepassing block, inspired by sparse matrix theory, that aligns
with the objective of finding a sparse factorization of the matrix. By
replacing conventional preconditioners used within the conjugate gradient
method by data-driven models based on graph neural networks, we accelerate the
iterative solving procedure. We evaluate our proposed method on both a
synthetic and a real-world problem arising from scientific computing and show
its ability to reduce the solving time while remaining computationally
efficient.
- Abstract(参考訳): 共役勾配法のような反復解法を加速するための適切な前提条件を見つけることは、研究の活発な領域である。
本稿では,手作業によるアルゴリズムをニューラルネットワークに置き換える,計算効率のよいデータ駆動手法を提案する。
線形システムの条件数を直接最適化することは計算不可能である。
その代わり、この手法は行列の不完全因子分解を生成し、それを神経不完全因子分解(neuralif)と呼ぶ。
効率的なトレーニングには,行列ベクトル乗算のみを必要とするフロベニウス損失の確率近似を用いる。
本手法のコアとなるのは,スパース行列理論にインスパイアされた新しいメッセージパッシングブロックであり,行列のスパース分解を求める目的と一致する。
共役勾配法で使用される従来のプリコンディショナーをグラフニューラルネットワークに基づくデータ駆動モデルに置き換えることで,反復解法を高速化する。
提案手法は,科学計算から生じる合成問題と実世界の問題の両方について評価し,計算効率を保ちながら解解時間を短縮できることを示す。
関連論文リスト
- Generating gradients in the energy landscape using rectified linear type
cost functions for efficiently solving 0/1 matrix factorization in Simulated
Annealing [7.339479909020814]
本研究では,エネルギー景観に勾配を適用して解法を容易にする手法を提案する。
また,探索過程におけるコスト関数の勾配を更新することにより,迅速に解を得る方法を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:19:47Z) - Stochastic Optimization for Non-convex Problem with Inexact Hessian
Matrix, Gradient, and Function [99.31457740916815]
信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。
TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
論文 参考訳(メタデータ) (2023-10-18T10:29:58Z) - The Decimation Scheme for Symmetric Matrix Factorization [0.0]
行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。
我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。
本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:53:45Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。
提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
論文 参考訳(メタデータ) (2023-02-20T02:37:26Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - A Deep Gradient Correction Method for Iteratively Solving Linear Systems [5.744903762364991]
本稿では, 方程式の大, 疎, 対称, 正定値線形系の解を近似する新しい手法を提案する。
我々のアルゴリズムは、少数の反復で与えられた許容度に残留する線形系を減少させることができる。
論文 参考訳(メタデータ) (2022-05-22T06:40:38Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-06T13:18:31Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T13:02:41Z) - An efficient Quasi-Newton method for nonlinear inverse problems via
learned singular values [16.135488140265775]
非線形逆問題に適用可能な高効率データ駆動準ニュートン法を提案する。
これを実現するには、単数値分解を使用して、モデル出力から単数値へのマッピングを学習し、更新されたJacobianを計算します。
これにより、ラウンドオフエラーを蓄積することなく、Quasi-Newtonメソッドの高速化が期待できます。
論文 参考訳(メタデータ) (2020-12-14T16:25:42Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳(メタデータ) (2020-02-10T10:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。