論文の概要: Neural incomplete factorization: learning preconditioners for the conjugate gradient method

• arxiv url: http://arxiv.org/abs/2305.16368v1
• Date: Thu, 25 May 2023 11:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 18:54:15.911423
• Title: Neural incomplete factorization: learning preconditioners for the conjugate gradient method
• Title（参考訳）: 神経不完全因子分解:共役勾配法による学習前条件
• Authors: Paul H\"ausner, Ozan \"Oktem, Jens Sj\"olund
• Abstract要約: 我々は,大規模線形方程式系を解くための新しいデータ駆動手法を開発した。 グラフニューラルネットワークを用いて、特定の問題領域に合わせた効果的なプレコンディショナを生成する。 以上の結果から,NeuralIFが最も一般的な汎用プレコンディショナーよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we develop a novel data-driven approach to accelerate solving large-scale linear equation systems encountered in scientific computing and optimization. Our method utilizes self-supervised training of a graph neural network to generate an effective preconditioner tailored to the specific problem domain. By replacing conventional hand-crafted preconditioners used with the conjugate gradient method, our approach, named neural incomplete factorization (NeuralIF), significantly speeds-up convergence and computational efficiency. At the core of our method is a novel message-passing block, inspired by sparse matrix theory, that aligns with the objective to find a sparse factorization of the matrix. We evaluate our proposed method on both a synthetic and a real-world problem arising from scientific computing. Our results demonstrate that NeuralIF consistently outperforms the most common general-purpose preconditioners, including the incomplete Cholesky method, achieving competitive performance across various metrics even outside the training data distribution.
• Abstract（参考訳）: 本稿では,科学計算と最適化において遭遇する大規模線形方程式系を高速化する,新しいデータ駆動型手法を提案する。 本手法は,グラフニューラルネットワークの自己教師型トレーニングを利用して,特定の問題領域に合わせた効果的なプレコンディショナーを生成する。 従来の手作りプリコンディショナーを共役勾配法に置き換えることで,neural incomplete factorization (neuralif) と呼ばれるアプローチにより,高速化と計算効率が向上した。 提案手法のコアとなるのは,スパース行列理論に着想を得た新しいメッセージパッシングブロックであり,マトリクスのスパース因数分解を求める目的と整合する。 本研究では,科学計算から生じる合成問題と実世界の問題の両方について,提案手法を評価する。 以上の結果から,NeuralIFは不完全なColesky法を含む汎用プレコンディショナーよりも一貫して優れており,トレーニングデータ分布外においても,様々な指標の競合性能を実現していることがわかった。

関連論文リスト

• Learning incomplete factorization preconditioners for GMRES [1.1519724914285523]
  本稿では,大規模スパース行列の不完全LU分解を生成するためのデータ駆動手法を開発する。 GMRES法において, 学習された近似因数分解を対応する線形方程式系のプレコンディショナーとして利用する。 私たちは、通常手動のアルゴリズムを、データに対してトレーニングされたグラフニューラルネットワークベースのアプローチに置き換えます。
  論文  参考訳（メタデータ） (2024-09-12T17:55:44Z)
• Generating gradients in the energy landscape using rectified linear type cost functions for efficiently solving 0/1 matrix factorization in Simulated Annealing [7.339479909020814]
  本研究では,エネルギー景観に勾配を適用して解法を容易にする手法を提案する。 また,探索過程におけるコスト関数の勾配を更新することにより,迅速に解を得る方法を提案する。
  論文  参考訳（メタデータ） (2023-12-27T04:19:47Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Nystrom Method for Accurate and Scalable Implicit Differentiation [25.29277451838466]
  我々は,Nystrom法が他の手法と同等あるいは優れた性能を連続的に達成していることを示す。 提案手法は数値的な不安定さを回避し,反復を伴わない行列演算で効率的に計算できる。
  論文  参考訳（メタデータ） (2023-02-20T02:37:26Z)
• Matrix Completion via Non-Convex Relaxation and Adaptive Correlation Learning [90.8576971748142]
  閉形式解によって最適化できる新しいサロゲートを開発する。 そこで我々は, 上向きの相関関係を利用して, 適応的相関学習モデルを構築した。
  論文  参考訳（メタデータ） (2022-03-04T08:50:50Z)
• Memory-Efficient Backpropagation through Large Linear Layers [107.20037639738433]
  Transformersのような現代のニューラルネットワークでは、線形層は後方通過時にアクティベーションを保持するために大きなメモリを必要とする。 本研究では,線形層によるバックプロパゲーションを実現するためのメモリ削減手法を提案する。
  論文  参考訳（メタデータ） (2022-01-31T13:02:41Z)
• Converting ADMM to a Proximal Gradient for Convex Optimization Problems [4.56877715768796]
  融解ラッソや凸クラスタリングなどのスパース推定では、問題を解くために、近位勾配法またはマルチプライヤー(ADMM)の交互方向法のいずれかを適用します。 本論文では,制約と目的が強く凸であると仮定し,ADMM溶液を近位勾配法に変換する一般的な方法を提案する。 数値実験により, 効率の面で有意な改善が得られることを示した。
  論文  参考訳（メタデータ） (2021-04-22T07:41:12Z)
• Solving weakly supervised regression problem using low-rank manifold regularization [77.34726150561087]
  我々は弱い教師付き回帰問題を解く。 weakly"の下では、いくつかのトレーニングポイントではラベルが知られ、未知のものもあれば、無作為なノイズの存在やリソースの欠如などの理由によって不確かであることが分かっています。 数値的な節ではモンテカルロモデルを用いて提案手法を人工と実のデータセットに適用した。
  論文  参考訳（メタデータ） (2021-04-13T23:21:01Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Accelerating Ill-Conditioned Low-Rank Matrix Estimation via Scaled Gradient Descent [34.0533596121548]
  低ランク行列推定は凸問題を収束させ、信号処理、機械学習、画像科学に多くの応用を見出す。 低ランク行列の個数の観点から,ScaledGDが最良となることを示す。 我々の分析は、低ランク勾配降下に類似した一般損失にも適用できる。
  論文  参考訳（メタデータ） (2020-05-18T17:17:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。