論文の概要: Deep Neural Networks Are Effective At Learning High-Dimensional
Hilbert-Valued Functions From Limited Data
- arxiv url: http://arxiv.org/abs/2012.06081v2
- Date: Fri, 5 Mar 2021 00:48:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 02:48:34.825240
- Title: Deep Neural Networks Are Effective At Learning High-Dimensional
Hilbert-Valued Functions From Limited Data
- Title（参考訳）: 限られたデータから高次元ヒルベルト値関数を学習するディープニューラルネットワーク
- Authors: Ben Adcock and Simone Brugiapaglia and Nick Dexter and Sebastian
Moraga
- Abstract要約: ヒルベルト値を持つ近似関数、すなわち、近似関数に焦点を当てる。
分離可能だが典型的には無限次元のヒルベルト空間で値を取る。
隠れ異方性を持つ正則関数に対するDNNトレーニングにおける新しい結果を示す。
ヒルベルト評価関数を DNN で学習する手法は,DNN と同様に機能するが,現在の最良クラススキームに匹敵するものではないことを示す。
- 参考スコア（独自算出の注目度）: 6.098254376499899
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Accurate approximation of scalar-valued functions from sample points is a key
task in computational science. Recently, machine learning with Deep Neural
Networks (DNNs) has emerged as a promising tool for scientific computing, with
impressive results achieved on problems where the dimension of the data or
problem domain is large. This work broadens this perspective, focusing on
approximating functions that are Hilbert-valued, i.e. take values in a
separable, but typically infinite-dimensional, Hilbert space. This arises in
science and engineering problems, in particular those involving solution of
parametric Partial Differential Equations (PDEs). Such problems are
challenging: 1) pointwise samples are expensive to acquire, 2) the function
domain is high dimensional, and 3) the range lies in a Hilbert space. Our
contributions are twofold. First, we present a novel result on DNN training for
holomorphic functions with so-called hidden anisotropy. This result introduces
a DNN training procedure and full theoretical analysis with explicit guarantees
on error and sample complexity. The error bound is explicit in three key errors
occurring in the approximation procedure: the best approximation, measurement,
and physical discretization errors. Our result shows that there exists a
procedure (albeit non-standard) for learning Hilbert-valued functions via DNNs
that performs as well as, but no better than current best-in-class schemes. It
gives a benchmark lower bound for how well DNNs can perform on such problems.
Second, we examine whether better performance can be achieved in practice
through different types of architectures and training. We provide preliminary
numerical results illustrating practical performance of DNNs on parametric
PDEs. We consider different parameters, modifying the DNN architecture to
achieve better and competitive results, comparing these to current
best-in-class schemes.
- Abstract（参考訳）: サンプル点からのスカラー値関数の正確な近似は計算科学における重要な課題である。
近年、Deep Neural Networks (DNN) を用いた機械学習が科学計算の有望なツールとして登場し、データや問題領域の次元が大きくなる問題に対して素晴らしい結果が得られた。
この研究は、ヒルベルト値を持つ関数、すなわち近似関数に焦点をあてて、この視点を広げている。
分離可能だが典型的には無限次元のヒルベルト空間で値を取る。
これは科学や工学の問題、特にパラメトリック偏微分方程式(pdes)の解を含む問題において生じる。
このような問題は困難である: 1) 点的サンプルは取得に費用がかかり、2) 関数領域は高次元であり、3) 範囲はヒルベルト空間にある。
私たちの貢献は2倍です。
まず,隠れ異方性をもつ正則関数に対するDNNトレーニングにおける新しい結果を示す。
この結果は、dnnトレーニング手順と、エラーとサンプルの複雑さを明示的に保証した完全な理論解析を導入する。
誤差境界は近似手順で発生する3つの重要な誤り(最良の近似、測定、物理的離散化誤差)で明示される。
以上の結果から, ヒルベルト値関数をdnnで学習するための手続き(非標準的)が存在することが判明した。
これは、DNNがそのような問題に対してどれだけうまく機能できるかに関して、ベンチマークを低くする。
第2に,異なるタイプのアーキテクチャやトレーニングを通じて,より優れたパフォーマンスを実現することができるかどうかを検討する。
パラメトリックPDEにおけるDNNの実用性能を示す予備的な数値結果を提供する。
異なるパラメータを検討し、より良く競争的な結果を得るためにdnnアーキテクチャを変更し、これらを現在のベストインクラススキームと比較する。
関連論文リスト
- Improving PINNs By Algebraic Inclusion of Boundary and Initial Conditions [0.1874930567916036]
AI for Science」は、AI技術を用いた基本的な科学的問題を解決することを目的としている。
本研究では、トレーニング対象のモデルを単にニューラルネットワークから非線形変換に変更する可能性について検討する。
これにより、損失関数の項数は標準のPINN損失よりも減少する。
論文 参考訳（メタデータ） (2024-07-30T11:19:48Z) - Optimal deep learning of holomorphic operators between Banach spaces [0.6554326244334866]
我々はバナッハ空間間の学習作用素の問題に取り組むが、これはヒルベルト空間のみを考える過去の研究の大多数とは対照的である。
任意の近似エンコーダとデコーダを標準フィードフォワードディープニューラルネットワーク(DNN)アーキテクチャと組み合わせる。
本稿では,この問題に対してDLが最適であることを示す。
論文 参考訳（メタデータ） (2024-06-20T01:49:42Z) - Implicit Stochastic Gradient Descent for Training Physics-informed
Neural Networks [51.92362217307946]
物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。
PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。
本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
論文 参考訳（メタデータ） (2023-03-03T08:17:47Z) - 0/1 Deep Neural Networks via Block Coordinate Descent [40.11141921215105]
ステップ関数は、ディープニューラルネットワーク(DNN)における最も単純かつ最も自然な活性化関数の1つである
正の変数は 1 で、他の変数は 0 であるので、本質的な特性(例えば、不連続性や下位段階の情報がないなど)は数十年にわたってその発展を妨げる。
論文 参考訳（メタデータ） (2022-06-19T11:12:30Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - dNNsolve: an efficient NN-based PDE solver [62.997667081978825]
ODE/PDEを解決するためにデュアルニューラルネットワークを利用するdNNsolveを紹介します。
我々は,dNNsolveが1,2,3次元の幅広いODE/PDEを解くことができることを示す。
論文 参考訳（メタデータ） (2021-03-15T19:14:41Z) - Train Like a (Var)Pro: Efficient Training of Neural Networks with
Variable Projection [2.7561479348365734]
ディープニューラルネットワーク(DNN)は、さまざまな従来の機械学習タスクで最先端のパフォーマンスを達成した。
本稿では,多くの最先端アプリケーションで発生するDNNのトレーニングについて考察する。
論文 参考訳（メタデータ） (2020-07-26T16:29:39Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Optimization and Generalization Analysis of Transduction through
Gradient Boosting and Application to Multi-scale Graph Neural Networks [60.22494363676747]
現在のグラフニューラルネットワーク(GNN)は、オーバースムーシング(over-smoothing)と呼ばれる問題のため、自分自身を深くするのは難しいことが知られている。
マルチスケールGNNは、オーバースムーシング問題を緩和するための有望なアプローチである。
マルチスケールGNNを含むトランスダクティブ学習アルゴリズムの最適化と一般化を保証する。
論文 参考訳（メタデータ） (2020-06-15T17:06:17Z) - Self-Directed Online Machine Learning for Topology Optimization [58.920693413667216]
自己指向型オンライン学習最適化は、ディープニューラルネットワーク(DNN)と有限要素法(FEM)計算を統合している。
本アルゴリズムは, コンプライアンスの最小化, 流体構造最適化, 伝熱促進, トラス最適化の4種類の問題によって検証された。
その結果, 直接使用法と比較して計算時間を2～5桁削減し, 実験で検証した全ての最先端アルゴリズムより優れていた。
論文 参考訳（メタデータ） (2020-02-04T20:00:28Z) - The gap between theory and practice in function approximation with deep
neural networks [2.969705152497174]
ディープラーニング(DL)は、意思決定プロセスが現実世界のデータに基づいてトレーニングされたディープニューラルネットワーク(DNN)によって自動化されているため、業界を変革している。
そこで我々は,実際にDNNを検証するための計算フレームワークを導入し,これらの問題に関して経験的性能の研究に利用した。
論文 参考訳（メタデータ） (2020-01-16T20:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。