論文の概要: Deep Learning-Enhanced Preconditioning for Efficient Conjugate Gradient Solvers in Large-Scale PDE Systems

• arxiv url: http://arxiv.org/abs/2412.07127v1
• Date: Tue, 10 Dec 2024 02:34:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 22:09:45.197195
• Title: Deep Learning-Enhanced Preconditioning for Efficient Conjugate Gradient Solvers in Large-Scale PDE Systems
• Title（参考訳）: 大規模PDEシステムにおける効率的な共役勾配解の深層学習強化プレコンディショニング
• Authors: Rui Li, Song Wang, Chen Wang,
• Abstract要約: 本稿では,グラフニューラルネットワーク(GNN)と従来のICを統合する新しい手法を提案する。 実験の結果、ICと比較してイテレーションの回数が平均24.8%減少した。 このアプローチは、スケールにわたる堅牢な一般化能力を実証する。
• 参考スコア（独自算出の注目度）: 11.712093849918123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Preconditioning techniques are crucial for enhancing the efficiency of solving large-scale linear equation systems that arise from partial differential equation (PDE) discretization. These techniques, such as Incomplete Cholesky factorization (IC) and data-driven neural network methods, accelerate the convergence of iterative solvers like Conjugate Gradient (CG) by approximating the original matrices. This paper introduces a novel approach that integrates Graph Neural Network (GNN) with traditional IC, addressing the shortcomings of direct generation methods based on GNN and achieving significant improvements in computational efficiency and scalability. Experimental results demonstrate an average reduction in iteration counts by 24.8% compared to IC and a two-order-of-magnitude increase in training scale compared to previous methods. A three-dimensional static structural analysis utilizing finite element methods was validated on training sparse matrices of up to 5 million dimensions and inference scales of up to 10 million. Furthermore, the approach demon-strates robust generalization capabilities across scales, facilitating the effective acceleration of CG solvers for large-scale linear equations using small-scale data on modest hardware. The method's robustness and scalability make it a practical solution for computational science.
• Abstract（参考訳）: プレコンディショニング技術は、偏微分方程式(PDE)の離散化から生じる大規模線形方程式系を解く効率を高めるために重要である。 Incomplete Cholesky Factorization (IC) やデータ駆動型ニューラルネットワーク手法のようなこれらの手法は、元の行列を近似することにより、共役勾配 (CG) のような反復解の収束を加速する。 本稿では、グラフニューラルネットワーク(GNN)を従来のICと統合し、GNNに基づく直接生成手法の欠点に対処し、計算効率とスケーラビリティを大幅に向上させる新しいアプローチを提案する。 実験の結果,ICと比較して平均反復回数が24.8%減少し,トレーニングスケールの2次増加が従来の方法に比べて見られた。 有限要素法による3次元静的構造解析を,最大500万次元のスパース行列と最大1000万次元の推論尺度で検証した。 さらに,本手法は,大規模線形方程式に対するCGソルバの有効加速度を,低速ハードウェア上での小規模データを用いて促進する。 この手法の堅牢性とスケーラビリティは、計算科学の実践的な解決策となる。

関連論文リスト

• Physics-informed neural networks for high-dimensional solutions and snaking bifurcations in nonlinear lattices [0.0]
  本稿では,非線形格子の重要な課題に対処するための物理インフォームドニューラルネットワーク(PINN)に基づくフレームワークを提案する。 まず,格子モデルから生じる非線形系の解を,レバンス・マルカルトアルゴリズムを用いて近似するためにPINNを用いる。 次に、PINNと連続的な手法を結合して、スネーキング分岐図を計算して拡張する。 線形安定解析では、固有ベクトルを計算するためにPINNを適用し、Sturm-Liouville理論に則って出力制約を導入する。
  論文  参考訳（メタデータ） (2025-07-13T20:41:55Z)
• Scalable Gaussian Processes: Advances in Iterative Methods and Pathwise Conditioning [0.26107298043931204]
  この論文は、反復的手法と経路的条件付けの強力な組み合わせに焦点を当て、方法論的コントリビューションを開発する。 これら2つの手法を組み合わせることで、高価な計算を線形方程式系の解として表現し、反復線形系解法を利用して得られる。 これにより、メモリ要求が大幅に削減され、アプリケーションが大幅にデータ量を増やすことが容易になり、行列乗算が主計算演算として導入される。
  論文  参考訳（メタデータ） (2025-07-09T13:39:37Z)
• Accelerating Natural Gradient Descent for PINNs with Randomized Numerical Linear Algebra [0.0]
  Natural Gradient Descent (NGD)は、ニューラルネットワークに基づく偏微分方程式(PDE)の学習のための有望な最適化アルゴリズムとして登場した。 我々は,行列フリーNGDを従来考えられていたよりも幅広い問題のクラスに拡張し,内部CGソルバの収束を加速するためにランダム化Nystr"omプレコンディショニング(Randomized Nystr)の利用を提案する。 このアルゴリズムは、ニューラルネットワークを用いて識別された様々なPDE問題に対して、既存のNGDベースの手法よりも大幅に性能が向上したことを示す。
  論文  参考訳（メタデータ） (2025-05-16T19:00:40Z)
• Outlier-aware Tensor Robust Principal Component Analysis with Self-guided Data Augmentation [21.981038455329013]
  適応重み付けを用いた自己誘導型データ拡張手法を提案する。 本研究では,最先端手法と比較して精度と計算効率の両面での改善を示す。
  論文  参考訳（メタデータ） (2025-04-25T13:03:35Z)
• Linearly Convergent Mixup Learning [0.0]
  より広い範囲のバイナリ分類モデルに拡張する2つの新しいアルゴリズムを提案する。 勾配に基づくアプローチとは異なり、我々のアルゴリズムは学習率のようなハイパーパラメータを必要とせず、実装と最適化を単純化する。 我々のアルゴリズムは、降下勾配法と比較して最適解への高速収束を実現し、ミックスアップデータの増大は、様々な損失関数の予測性能を一貫して改善する。
  論文  参考訳（メタデータ） (2025-01-14T02:33:40Z)
• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• Adaptive Error-Bounded Hierarchical Matrices for Efficient Neural Network Compression [0.0]
  本稿では,物理インフォームドニューラルネットワーク(PINN)に適した動的,エラーバウンドな階層行列 (H-matrix) 圧縮手法を提案する。 提案手法は,ニューラル・タンジェント・カーネル(NTK)の本質的性質を保ちながら,大規模物理モデルにおける計算複雑性とメモリ要求を低減させる。 実験により, この手法は, 高精度を維持し, 一般化能力を向上させることにより, Singular Value Decomposition (SVD) やプルーニング, 量子化などの従来の圧縮手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-09-11T05:55:51Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• An Optimization-based Deep Equilibrium Model for Hyperspectral Image Deconvolution with Convergence Guarantees [71.57324258813675]
  本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。 新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。 導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
  論文  参考訳（メタデータ） (2023-06-10T08:25:16Z)
• Neural incomplete factorization: learning preconditioners for the conjugate gradient method [2.899792823251184]
  我々は、効率的なプレコンディショナーの生成を加速するためのデータ駆動型アプローチを開発する。 一般的に手動のプリコンディショナーをグラフニューラルネットワークの出力に置き換える。 本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
  論文  参考訳（メタデータ） (2023-05-25T11:45:46Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• Learning Subgrid-scale Models with Neural Ordinary Differential Equations [0.39160947065896795]
  偏微分方程式(PDE)をシミュレートする際のサブグリッドスケールモデル学習のための新しい手法を提案する。 このアプローチでは、ニューラルネットワークは粗大から細小のグリッドマップを学習するために使用され、これはサブグリッドスケールのパラメータ化と見なすことができる。 提案手法はNODEの利点を継承し,サブグリッドスケールのパラメータ化,近似結合演算子,低次解法の効率向上に利用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:45:09Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Cogradient Descent for Dependable Learning [64.02052988844301]
  双線形最適化問題に対処するために,CoGDアルゴリズムに基づく信頼度の高い学習法を提案する。 CoGDは、ある変数がスパーシティ制約を持つ場合の双線形問題を解くために導入された。 また、特徴と重みの関連を分解するためにも使用できるため、畳み込みニューラルネットワーク(CNN)をより良く訓練するための我々の手法をさらに一般化することができる。
  論文  参考訳（メタデータ） (2021-06-20T04:28:20Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。