論文の概要: A Structured Matrix Method for Nonequispaced Neural Operators
- arxiv url: http://arxiv.org/abs/2305.19663v3
- Date: Fri, 6 Oct 2023 15:59:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 11:13:33.424972
- Title: A Structured Matrix Method for Nonequispaced Neural Operators
- Title(参考訳): 非等間隔ニューラル演算子の構造行列法
- Authors: Levi Lingsch and Mike Michelis and Emmanuel de Bezenac and Sirani M.
Perera and Robert K. Katzschmann and Siddhartha Mishra
- Abstract要約: 本稿では, バッチ行列の乗法を利用して, Vandermonde構造行列を効率的に構築し, 前方および逆変換を計算する手法を提案する。
提案手法は,ベースラインよりもトレーニング速度を向上し,精度を維持・改善しつつ,ニューラル演算子を非常に一般的な点分布に拡張することができることを示す。
- 参考スコア(独自算出の注目度): 14.368584137791904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The computational efficiency of many neural operators, widely used for
learning solutions of PDEs, relies on the fast Fourier transform (FFT) for
performing spectral computations. However, as FFT is limited to equispaced
(rectangular) grids, this limits the efficiency of such neural operators when
applied to problems where the input and output functions need to be processed
on general non-equispaced point distributions. We address this issue by
proposing a novel method that leverages batch matrix multiplications to
efficiently construct Vandermonde-structured matrices and compute forward and
inverse transforms, on arbitrarily distributed points. An efficient
implementation of such structured matrix methods is coupled with existing
neural operator models to allow the processing of data on arbitrary
non-equispaced distributions of points. With extensive empirical evaluation, we
demonstrate that the proposed method allows one to extend neural operators to
very general point distributions with significant gains in training speed over
baselines, while retaining or improving accuracy.
- Abstract(参考訳): PDEの学習に広く用いられている多くのニューラル演算子の計算効率は、スペクトル計算を行うための高速フーリエ変換(FFT)に依存している。
しかし、fft は等間隔(正三角形)グリッドに制限されているため、入力関数と出力関数を一般的な非等間隔点分布で処理する必要がある問題に適用すると、そのようなニューラルネットワークの効率が制限される。
本稿では, バッチ行列乗法を利用して, Vandermonde構造行列を効率的に構築し, 任意の分散点上で前方および逆変換を計算する手法を提案する。
このような構造化マトリクス法の効率的な実装は、点の任意の非等間隔分布上のデータの処理を可能にするために、既存のニューラルオペレータモデルと結合される。
広範な経験的評価により,提案手法は,精度を維持しつつ,ベースラインよりもトレーニング速度が著しく向上する非常に一般的な点分布にニューラルネットワークを拡張できることを実証する。
関連論文リスト
- Operator SVD with Neural Networks via Nested Low-Rank Approximation [20.728726193728164]
本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。
上位$L$特異値と正しい順序の特異関数を学習するためのネスティングと呼ばれる新しいテクニックが提示される。
本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
論文 参考訳(メタデータ) (2024-02-06T03:06:06Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳(メタデータ) (2024-01-29T02:08:40Z) - Accelerating Fractional PINNs using Operational Matrices of Derivative [0.24578723416255746]
本稿では,分数次物理学情報ニューラルネットワーク(fPINN)の学習を高速化する新しい演算行列法を提案する。
提案手法では、カプトー型分数微分問題において、0alpha1$での分数導関数の高速な計算を容易にする。
提案手法の有効性は,遅延微分方程式 (DDE) や微分代数方程式 (DAE) など,様々な微分方程式にまたがって検証される。
論文 参考訳(メタデータ) (2024-01-25T11:00:19Z) - Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-01T18:02:04Z) - Neural incomplete factorization: learning preconditioners for the
conjugate gradient method [0.0]
我々は、手書きのアルゴリズムをニューラルネットワークに置き換えるデータ駆動アプローチを開発した。
本手法は, 行列の不完全分解を発生させ, 神経不完全分解(NeuralIF)と呼ばれる。
論文 参考訳(メタデータ) (2023-05-25T11:45:46Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳(メタデータ) (2023-04-17T14:23:43Z) - Fast Computation of Optimal Transport via Entropy-Regularized
Extragradient Methods [98.85583323658366]
2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。
本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
論文 参考訳(メタデータ) (2023-01-30T15:46:39Z) - Partitioning sparse deep neural networks for scalable training and
inference [8.282177703075453]
最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。
スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。
その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
論文 参考訳(メタデータ) (2021-04-23T20:05:52Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳(メタデータ) (2020-06-16T21:56:22Z) - Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。
入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。
実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
論文 参考訳(メタデータ) (2020-06-16T18:43:31Z) - Certified and fast computations with shallow covariance kernels [0.0]
パラメータ化された共分散演算子の族を低ランクで近似するアルゴリズムを新たに導入し,解析する。
提案アルゴリズムは,パラメータ依存確率場に対する高速サンプリング法の基礎を提供する。
論文 参考訳(メタデータ) (2020-01-24T20:28:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。