論文の概要: Neural incomplete factorization: learning preconditioners for the
conjugate gradient method
- arxiv url: http://arxiv.org/abs/2305.16368v1
- Date: Thu, 25 May 2023 11:45:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 18:54:15.911423
- Title: Neural incomplete factorization: learning preconditioners for the
conjugate gradient method
- Title(参考訳): 神経不完全因子分解:共役勾配法による学習前条件
- Authors: Paul H\"ausner, Ozan \"Oktem, Jens Sj\"olund
- Abstract要約: 我々は,大規模線形方程式系を解くための新しいデータ駆動手法を開発した。
グラフニューラルネットワークを用いて、特定の問題領域に合わせた効果的なプレコンディショナを生成する。
以上の結果から,NeuralIFが最も一般的な汎用プレコンディショナーよりも優れていたことが示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we develop a novel data-driven approach to accelerate solving
large-scale linear equation systems encountered in scientific computing and
optimization. Our method utilizes self-supervised training of a graph neural
network to generate an effective preconditioner tailored to the specific
problem domain. By replacing conventional hand-crafted preconditioners used
with the conjugate gradient method, our approach, named neural incomplete
factorization (NeuralIF), significantly speeds-up convergence and computational
efficiency. At the core of our method is a novel message-passing block,
inspired by sparse matrix theory, that aligns with the objective to find a
sparse factorization of the matrix. We evaluate our proposed method on both a
synthetic and a real-world problem arising from scientific computing. Our
results demonstrate that NeuralIF consistently outperforms the most common
general-purpose preconditioners, including the incomplete Cholesky method,
achieving competitive performance across various metrics even outside the
training data distribution.
- Abstract(参考訳): 本稿では,科学計算と最適化において遭遇する大規模線形方程式系を高速化する,新しいデータ駆動型手法を提案する。
本手法は,グラフニューラルネットワークの自己教師型トレーニングを利用して,特定の問題領域に合わせた効果的なプレコンディショナーを生成する。
従来の手作りプリコンディショナーを共役勾配法に置き換えることで,neural incomplete factorization (neuralif) と呼ばれるアプローチにより,高速化と計算効率が向上した。
提案手法のコアとなるのは,スパース行列理論に着想を得た新しいメッセージパッシングブロックであり,マトリクスのスパース因数分解を求める目的と整合する。
本研究では,科学計算から生じる合成問題と実世界の問題の両方について,提案手法を評価する。
以上の結果から,NeuralIFは不完全なColesky法を含む汎用プレコンディショナーよりも一貫して優れており,トレーニングデータ分布外においても,様々な指標の競合性能を実現していることがわかった。
関連論文リスト
- Generating gradients in the energy landscape using rectified linear type
cost functions for efficiently solving 0/1 matrix factorization in Simulated
Annealing [7.339479909020814]
本研究では,エネルギー景観に勾配を適用して解法を容易にする手法を提案する。
また,探索過程におけるコスト関数の勾配を更新することにより,迅速に解を得る方法を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:19:47Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳(メタデータ) (2023-10-31T16:15:13Z) - The Decimation Scheme for Symmetric Matrix Factorization [0.0]
行列分解(Matrix factorization)は、その広範囲な応用により重要になった推論問題である。
我々はこの広範囲なランク問題について研究し、最近導入した代替の「決定」手順を拡張した。
本稿では,デシメーションを実装し,行列分解を行う基底状態探索に基づく簡単なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-31T10:53:45Z) - Low-rank extended Kalman filtering for online learning of neural
networks from streaming data [71.97861600347959]
非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。
この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。
変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
論文 参考訳(メタデータ) (2023-05-31T03:48:49Z) - Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。
提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
論文 参考訳(メタデータ) (2023-02-20T02:37:26Z) - An Accelerated Doubly Stochastic Gradient Method with Faster Explicit
Model Identification [97.28167655721766]
本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。
まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
論文 参考訳(メタデータ) (2022-08-11T22:27:22Z) - A Deep Gradient Correction Method for Iteratively Solving Linear Systems [5.744903762364991]
本稿では, 方程式の大, 疎, 対称, 正定値線形系の解を近似する新しい手法を提案する。
我々のアルゴリズムは、少数の反復で与えられた許容度に残留する線形系を減少させることができる。
論文 参考訳(メタデータ) (2022-05-22T06:40:38Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-06T13:18:31Z) - Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。
本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
論文 参考訳(メタデータ) (2022-01-31T13:02:41Z) - An efficient Quasi-Newton method for nonlinear inverse problems via
learned singular values [16.135488140265775]
非線形逆問題に適用可能な高効率データ駆動準ニュートン法を提案する。
これを実現するには、単数値分解を使用して、モデル出力から単数値へのマッピングを学習し、更新されたJacobianを計算します。
これにより、ラウンドオフエラーを蓄積することなく、Quasi-Newtonメソッドの高速化が期待できます。
論文 参考訳(メタデータ) (2020-12-14T16:25:42Z) - Accelerating Feedforward Computation via Parallel Nonlinear Equation
Solving [106.63673243937492]
ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。
本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。
提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
論文 参考訳(メタデータ) (2020-02-10T10:11:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。