論文の概要: Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling

• arxiv url: http://arxiv.org/abs/2401.09516v2
• Date: Tue, 19 Mar 2024 08:46:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 23:31:36.404002
• Title: Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling
• Title（参考訳）: Krylovサブスペースリサイクルによるニューラル演算子の高速化データ生成
• Authors: Hong Wang, Zhongkai Hao, Jie Wang, Zijie Geng, Zhen Wang, Bin Li, Feng Wu,
• Abstract要約: 偏微分方程式(PDE)を解くためのニューラルネットワークの訓練には、かなりの量のラベル付きデータを生成する必要がある。 本稿では,これらのシステムの効率を高めるために,SKR(Sorting Krylovcycle)を提案する。 SKRは神経オペレーターのデータ生成を著しく加速し、最大13.9倍のスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 40.04264035057565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning neural operators for solving partial differential equations (PDEs) has attracted great attention due to its high inference efficiency. However, training such operators requires generating a substantial amount of labeled data, i.e., PDE problems together with their solutions. The data generation process is exceptionally time-consuming, as it involves solving numerous systems of linear equations to obtain numerical solutions to the PDEs. Many existing methods solve these systems independently without considering their inherent similarities, resulting in extremely redundant computations. To tackle this problem, we propose a novel method, namely Sorting Krylov Recycling (SKR), to boost the efficiency of solving these systems, thus significantly accelerating data generation for neural operators training. To the best of our knowledge, SKR is the first attempt to address the time-consuming nature of data generation for learning neural operators. The working horse of SKR is Krylov subspace recycling, a powerful technique for solving a series of interrelated systems by leveraging their inherent similarities. Specifically, SKR employs a sorting algorithm to arrange these systems in a sequence, where adjacent systems exhibit high similarities. Then it equips a solver with Krylov subspace recycling to solve the systems sequentially instead of independently, thus effectively enhancing the solving efficiency. Both theoretical analysis and extensive experiments demonstrate that SKR can significantly accelerate neural operator data generation, achieving a remarkable speedup of up to 13.9 times.
• Abstract（参考訳）: 偏微分方程式(PDE)を解くためのニューラルネットワークの学習は、高い推論効率のために大きな注目を集めている。 しかし、そのような演算子を訓練するには、大量のラベル付きデータを生成する必要がある。 データ生成プロセスは、多くの線形方程式系を解いてPDEの数値解を得るため、非常に時間がかかります。 多くの既存手法は、固有の類似性を考慮せずにこれらのシステムを独立に解き、非常に冗長な計算をもたらす。 この問題に対処するために,Sorting Krylovcycle (SKR) という新しい手法を提案する。 我々の知る限りでは、SKRはニューラル演算子を学習するためのデータ生成の時間を要する性質に対処する最初の試みである。 SKRの作業馬は、Krylovサブスペースリサイクル(英語版)である。 具体的には、SKRはソートアルゴリズムを用いてこれらのシステムをシーケンスに配置し、隣のシステムは高い類似性を示す。 次に、Krylovサブスペースのリサイクルを解き、独立にではなく逐次的にシステムを解くことで、解決効率を効果的に向上する。 理論解析と広範な実験の両方により、SKRは神経オペレーターのデータ生成を著しく加速し、最大13.9倍のスピードアップを達成することが示されている。

関連論文リスト

• Neural Operator Learning for Long-Time Integration in Dynamical Systems with Recurrent Neural Networks [1.6874375111244329]
  深層ニューラルネットワークは、推論中に計算コストを削減し、観測データから直接トレーニングすることができる。 しかし、既存の手法は正確には外挿できないため、長時間の統合ではエラーの蓄積が困難である。 ニューラル演算子とリカレントニューラルネットワークを組み合わせることでこの問題に対処し、オペレータマッピングを学習し、時間的依存関係をキャプチャするリカレント構造を提供する。
  論文  参考訳（メタデータ） (2023-03-03T22:19:23Z)
• On Robust Numerical Solver for ODE via Self-Attention Mechanism [82.95493796476767]
  我々は,内在性雑音障害を緩和し,AIによって強化された数値解法を,データサイズを小さくする訓練について検討する。 まず,教師付き学習における雑音を制御するための自己認識機構の能力を解析し,さらに微分方程式の数値解に付加的な自己認識機構を導入し,簡便かつ有効な数値解法であるAttrを提案する。
  論文  参考訳（メタデータ） (2023-02-05T01:39:21Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Accelerated Solutions of Coupled Phase-Field Problems using Generative Adversarial Networks [0.0]
  我々は,エンコーダデコーダに基づく条件付きGeneLSTM層を用いたニューラルネットワークに基づく新しいフレームワークを開発し,Cahn-Hilliardマイクロ構造方程式を解く。 トレーニングされたモデルはメッシュとスケールに依存しないため、効果的なニューラル演算子としての応用が保証される。
  論文  参考訳（メタデータ） (2022-11-22T08:32:22Z)
• Semi-supervised Learning of Partial Differential Operators and Dynamical Flows [68.77595310155365]
  本稿では,超ネットワーク解法とフーリエニューラル演算子アーキテクチャを組み合わせた新しい手法を提案する。 本手法は, 1次元, 2次元, 3次元の非線形流体を含む様々な時間発展PDEを用いて実験を行った。 その結果、新しい手法は、監督点の時点における学習精度を向上し、任意の中間時間にその解を補間できることを示した。
  論文  参考訳（メタデータ） (2022-07-28T19:59:14Z)
• Linear Constraints Learning for Spiking Neurons [0.0]
  本研究では,学習回数を削減した教師付きマルチスパイク学習アルゴリズムを提案する。 実験の結果,本手法はMNISTデータセット上の既存のアルゴリズムと比較して効率が良いことがわかった。
  論文  参考訳（メタデータ） (2021-03-10T13:54:05Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Deep Learning for Efficient Reconstruction of High-Resolution Turbulent DNS Data [0.0]
  大規模渦シミュレーション(LES)は、低分解能(LR)グリッド上の流体流れを解くために、より計算的に効率的なアプローチを示す。 本稿では,解の忠実度と計算複雑性のトレードオフを軽減することを目的とした,新しいディープラーニングフレームワークSR-DNS Netを提案する。 提案モデルでは,LESの高忠実度DNSデータを低解像度の解のように効率的に再構成し,良好な再現基準を得る。
  論文  参考訳（メタデータ） (2020-10-21T23:37:58Z)
• Large-scale Neural Solvers for Partial Differential Equations [48.7576911714538]
  偏微分方程式 (PDE) を解くことは、多くのプロセスがPDEの観点でモデル化できるため、科学の多くの分野において不可欠である。 最近の数値解法では、基礎となる方程式を手動で離散化するだけでなく、分散コンピューティングのための高度で調整されたコードも必要である。 偏微分方程式, 物理インフォームドニューラルネットワーク(PINN)に対する連続メッシュフリーニューラルネットワークの適用性について検討する。 本稿では,解析解に関するGatedPINNの精度と,スペクトル解法などの最先端数値解法について論じる。
  論文  参考訳（メタデータ） (2020-09-08T13:26:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。