論文の概要: Algorithmically Designed Artificial Neural Networks (ADANNs): Higher
order deep operator learning for parametric partial differential equations
- arxiv url: http://arxiv.org/abs/2302.03286v1
- Date: Tue, 7 Feb 2023 06:39:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-08 17:20:10.576471
- Title: Algorithmically Designed Artificial Neural Networks (ADANNs): Higher
order deep operator learning for parametric partial differential equations
- Title（参考訳）: アルゴリズム設計型ニューラルネットワーク(adanns) : パラメトリック偏微分方程式のための高階深層演算子学習
- Authors: Arnulf Jentzen, Adrian Riekert, Philippe von Wurstemberger
- Abstract要約: パラメトリック偏微分方程式(PDE)を近似的に解くための新しいディープラーニング手法を提案する。
特に、特定の人工知能ニューラルネットワーク(ANN)アーキテクチャを設計するための新しい戦略を導入する。
パラメトリックPDEの場合のADANN手法を数値的に検証する。
- 参考スコア（独自算出の注目度）: 2.1055643409860743
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article we propose a new deep learning approach to solve parametric
partial differential equations (PDEs) approximately. In particular, we
introduce a new strategy to design specific artificial neural network (ANN)
architectures in conjunction with specific ANN initialization schemes which are
tailor-made for the particular scientific computing approximation problem under
consideration. In the proposed approach we combine efficient classical
numerical approximation techniques such as higher-order Runge-Kutta schemes
with sophisticated deep (operator) learning methodologies such as the recently
introduced Fourier neural operators (FNOs). Specifically, we introduce
customized adaptions of existing standard ANN architectures together with
specialized initializations for these ANN architectures so that at
initialization we have that the ANNs closely mimic a chosen efficient classical
numerical algorithm for the considered approximation problem. The obtained ANN
architectures and their initialization schemes are thus strongly inspired by
numerical algorithms as well as by popular deep learning methodologies from the
literature and in that sense we refer to the introduced ANNs in conjunction
with their tailor-made initialization schemes as Algorithmically Designed
Artificial Neural Networks (ADANNs). We numerically test the proposed ADANN
approach in the case of some parametric PDEs. In the tested numerical examples
the ADANN approach significantly outperforms existing traditional approximation
algorithms as well as existing deep learning methodologies from the literature.
- Abstract（参考訳）: 本稿では,パラメトリック偏微分方程式(pdes)を近似解くための新しい深層学習手法を提案する。
特に、検討中の特定の科学計算近似問題に適した特定のANN初期化スキームとともに、特定の人工知能ニューラルネットワーク(ANN)アーキテクチャを設計する新しい戦略を導入する。
提案手法では,高次ランゲ・クッタスキームのような効率的な古典的数値近似手法と,最近導入されたフーリエニューラル演算子(FNO)のような高度な深層学習手法を組み合わせる。
具体的には、既存の標準ANNアーキテクチャのカスタマイズされた適応と、これらのANNアーキテクチャの特殊初期化を導入し、初期化において、ANNは、考慮された近似問題に対して選択された効率的な古典的数値アルゴリズムを忠実に模倣する。
得られたANNアーキテクチャとその初期化スキームは、数値アルゴリズムや文学からの一般的なディープラーニング手法に強く影響を受けており、その意味では、アルゴリズム設計されたニューラルネットワーク(ADANN)として、アルゴリズムで作成された初期化スキームとともに導入されたANNを参照する。
パラメトリックPDEの場合のADANN手法を数値的に検証する。
検証された数値例では、ADANNアプローチは既存の近似アルゴリズムと文献からの既存のディープラーニング手法を著しく上回っている。
関連論文リスト
- An Overview on Machine Learning Methods for Partial Differential Equations: from Physics Informed Neural Networks to Deep Operator Learning [5.75055574132362]
数値アルゴリズムによる偏微分方程式の解の近似は、応用数学における中心的なトピックである。
近年多くの注目を集めている手法の1つは、機械学習に基づく手法である。
本稿では,これらの手法の紹介と,それらに基づく数学的理論について述べる。
論文 参考訳（メタデータ） (2024-08-23T16:57:34Z) - Mathematical Introduction to Deep Learning: Methods, Implementations,
and Theory [4.066869900592636]
この本は、ディープラーニングアルゴリズムのトピックについて紹介することを目的としている。
本稿では,ディープラーニングアルゴリズムの本質的構成要素を数学的に詳細に概説する。
論文 参考訳（メタデータ） (2023-10-31T11:01:23Z) - Quantifying uncertainty for deep learning based forecasting and
flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。
提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。
本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
論文 参考訳（メタデータ） (2023-02-20T03:57:06Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳（メタデータ） (2022-10-12T06:49:16Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳（メタデータ） (2022-05-05T13:40:08Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - Personalized Algorithm Generation: A Case Study in Meta-Learning ODE
Integrators [6.457555233038933]
科学計算における数値アルゴリズムのメタラーニングに関する研究
初期値問題の解法を自動的に学習する機械学習手法を開発した。
論文 参考訳（メタデータ） (2021-05-04T05:42:33Z) - Model-Based Machine Learning for Communications [110.47840878388453]
モデルベースのアルゴリズムと機械学習をハイレベルな視点で組み合わせるための既存の戦略を見直します。
通信受信機の基本的なタスクの一つであるシンボル検出に注目する。
論文 参考訳（メタデータ） (2021-01-12T19:55:34Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。