論文の概要: Algorithmically Designed Artificial Neural Networks (ADANNs): Higher order deep operator learning for parametric partial differential equations
- arxiv url: http://arxiv.org/abs/2302.03286v2
- Date: Wed, 29 May 2024 12:22:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 02:41:05.671600
- Title: Algorithmically Designed Artificial Neural Networks (ADANNs): Higher order deep operator learning for parametric partial differential equations
- Title（参考訳）: アルゴリズム設計型ニューラルネットワーク(ADANNs):パラメトリック偏微分方程式の高次深部演算子学習
- Authors: Arnulf Jentzen, Adrian Riekert, Philippe von Wurstemberger,
- Abstract要約: 偏パラメトリック微分方程式(PDE)に関連する近似演算子に対する新しい深層学習手法を提案する。
提案手法では,高速な古典的数値近似手法と深層演算子学習手法を併用する。
いくつかのパラメトリックPDEの場合,提案手法を数値的に検証する。
- 参考スコア（独自算出の注目度）: 5.052293146674794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this article we propose a new deep learning approach to approximate operators related to parametric partial differential equations (PDEs). In particular, we introduce a new strategy to design specific artificial neural network (ANN) architectures in conjunction with specific ANN initialization schemes which are tailor-made for the particular approximation problem under consideration. In the proposed approach we combine efficient classical numerical approximation techniques with deep operator learning methodologies. Specifically, we introduce customized adaptions of existing ANN architectures together with specialized initializations for these ANN architectures so that at initialization we have that the ANNs closely mimic a chosen efficient classical numerical algorithm for the considered approximation problem. The obtained ANN architectures and their initialization schemes are thus strongly inspired by numerical algorithms as well as by popular deep learning methodologies from the literature and in that sense we refer to the introduced ANNs in conjunction with their tailor-made initialization schemes as Algorithmically Designed Artificial Neural Networks (ADANNs). We numerically test the proposed ADANN methodology in the case of several parametric PDEs. In the tested numerical examples the ADANN methodology significantly outperforms existing traditional approximation algorithms as well as existing deep operator learning methodologies from the literature.
- Abstract（参考訳）: 本稿では,パラメータ偏微分方程式(PDE)に関連する近似演算子に対する新しいディープラーニング手法を提案する。
特に、特定の近似問題に適した特定のANN初期化スキームとともに、特定の人工知能ニューラルネットワーク(ANN)アーキテクチャを設計する新しい戦略を導入する。
提案手法では,高速な古典的数値近似手法と深層演算子学習手法を併用する。
具体的には、既存のANNアーキテクチャのカスタマイズされた適応と、これらのANNアーキテクチャの特別な初期化を導入し、初期化時に、ANNが検討された近似問題に対して、選択された最適化された古典的数値アルゴリズムを忠実に模倣するようにした。
得られたANNアーキテクチャとその初期化スキームは、数値アルゴリズムや文学からの一般的なディープラーニング手法に強く影響を受けており、その意味では、アルゴリズム設計されたニューラルネットワーク(ADANN)として、アルゴリズムで作成された初期化スキームとともに導入されたANNを参照する。
いくつかのパラメトリックPDEの場合,提案手法を数値的に検証する。
検証された数値例では、ADANN手法は既存の近似アルゴリズムと、文献からのディープラーニングの方法論を著しく上回っている。
関連論文リスト
- Mathematical Introduction to Deep Learning: Methods, Implementations,
and Theory [4.066869900592636]
この本は、ディープラーニングアルゴリズムのトピックについて紹介することを目的としている。
本稿では,ディープラーニングアルゴリズムの本質的構成要素を数学的に詳細に概説する。
論文 参考訳（メタデータ） (2023-10-31T11:01:23Z) - Quantifying uncertainty for deep learning based forecasting and
flow-reconstruction using neural architecture search ensembles [0.8258451067861933]
本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。
提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。
本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
論文 参考訳（メタデータ） (2023-02-20T03:57:06Z) - Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。
標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。
サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
論文 参考訳（メタデータ） (2022-10-12T06:49:16Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳（メタデータ） (2022-05-05T13:40:08Z) - Neural Combinatorial Optimization: a New Player in the Field [69.23334811890919]
本稿では,ニューラルネットワークに基づくアルゴリズムの古典的最適化フレームワークへの導入に関する批判的分析を行う。
性能, 転送可能性, 計算コスト, 大規模インスタンスなど, これらのアルゴリズムの基本的側面を分析するために, 総合的研究を行った。
論文 参考訳（メタデータ） (2022-05-03T07:54:56Z) - Connections between Numerical Algorithms for PDEs and Neural Networks [8.660429288575369]
偏微分方程式(PDE)とニューラルネットワークの数値アルゴリズム間の多数の構造的関係について検討する。
私たちのゴールは、豊富な数学的基礎をPDEの世界からニューラルネットワークに移すことです。
論文 参考訳（メタデータ） (2021-07-30T16:42:45Z) - Personalized Algorithm Generation: A Case Study in Meta-Learning ODE
Integrators [6.457555233038933]
科学計算における数値アルゴリズムのメタラーニングに関する研究
初期値問題の解法を自動的に学習する機械学習手法を開発した。
論文 参考訳（メタデータ） (2021-05-04T05:42:33Z) - Model-Based Machine Learning for Communications [110.47840878388453]
モデルベースのアルゴリズムと機械学習をハイレベルな視点で組み合わせるための既存の戦略を見直します。
通信受信機の基本的なタスクの一つであるシンボル検出に注目する。
論文 参考訳（メタデータ） (2021-01-12T19:55:34Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳（メタデータ） (2020-06-15T02:57:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。