論文の概要: Learning smooth functions in high dimensions: from sparse polynomials to deep neural networks
- arxiv url: http://arxiv.org/abs/2404.03761v1
- Date: Thu, 4 Apr 2024 19:07:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-08 17:35:40.860131
- Title: Learning smooth functions in high dimensions: from sparse polynomials to deep neural networks
- Title（参考訳）: 高次元における滑らかな関数の学習--スパース多項式からディープニューラルネットワークへ
- Authors: Ben Adcock, Simone Brugiapaglia, Nick Dexter, Sebastian Moraga,
- Abstract要約: 有限個の点検点集合から多くの変数の滑らかな対象関数への近似を学習することは、科学計算において重要な課題である。
この10年で、効率的な方法への重要な進歩が見られた。
近年,これらの手法の近似理論と解析が進展している。
- 参考スコア（独自算出の注目度）: 0.9749638953163389
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning approximations to smooth target functions of many variables from finite sets of pointwise samples is an important task in scientific computing and its many applications in computational science and engineering. Despite well over half a century of research on high-dimensional approximation, this remains a challenging problem. Yet, significant advances have been made in the last decade towards efficient methods for doing this, commencing with so-called sparse polynomial approximation methods and continuing most recently with methods based on Deep Neural Networks (DNNs). In tandem, there have been substantial advances in the relevant approximation theory and analysis of these techniques. In this work, we survey this recent progress. We describe the contemporary motivations for this problem, which stem from parametric models and computational uncertainty quantification; the relevant function classes, namely, classes of infinite-dimensional, Banach-valued, holomorphic functions; fundamental limits of learnability from finite data for these classes; and finally, sparse polynomial and DNN methods for efficiently learning such functions from finite data. For the latter, there is currently a significant gap between the approximation theory of DNNs and the practical performance of deep learning. Aiming to narrow this gap, we develop the topic of practical existence theory, which asserts the existence of dimension-independent DNN architectures and training strategies that achieve provably near-optimal generalization errors in terms of the amount of training data.
- Abstract（参考訳）: 有限個の点検点集合から多くの変数の滑らかな対象関数への近似を学習することは、科学計算における重要な課題であり、計算科学や工学における多くの応用である。
半世紀以上にわたる高次元近似の研究にもかかわらず、これは難しい問題である。
しかし、近年では、疎多項式近似法(sparse polynomial approximation method)と直近ではディープニューラルネットワーク(Deep Neural Networks, DNN)に基づく手法を併用し、効率的な手法に向けた大きな進歩がなされている。
タンデムでは、関連する近似理論とこれらの手法の分析にかなりの進歩があった。
本研究は,最近の進歩を概観する。
パラメトリックモデルと計算の不確実性定量化を起源とする同時代のモチベーション、関連する関数クラス、すなわち無限次元、バナッハ値、正則関数のクラス、これらのクラスに対する有限データからの学習可能性の基本的限界、そして最後に、これらの関数を有限データから効率的に学習するためのスパース多項式とDNN法について述べる。
後者については、現在DNNの近似理論とディープラーニングの実践的性能との間に大きなギャップがある。
このギャップを狭めるために、次元に依存しないDNNアーキテクチャの存在を主張する実践的存在論と、トレーニングデータの量の観点から、ほぼ最適に近い一般化誤差を確実に達成するトレーニング戦略を開発する。
関連論文リスト
- An Overview on Machine Learning Methods for Partial Differential Equations: from Physics Informed Neural Networks to Deep Operator Learning [5.75055574132362]
数値アルゴリズムによる偏微分方程式の解の近似は、応用数学における中心的なトピックである。
近年多くの注目を集めている手法の1つは、機械学習に基づく手法である。
本稿では,これらの手法の紹介と,それらに基づく数学的理論について述べる。
論文 参考訳（メタデータ） (2024-08-23T16:57:34Z) - Scaling up Probabilistic PDE Simulators with Structured Volumetric Information [23.654711580674885]
本稿では,一般的な有限体積法と相補的数値線形代数法を組み合わせた離散化手法を提案する。
時相津波シミュレーションを含む実験では、従来のコロケーションに基づく手法よりも、このアプローチのスケーリング挙動が大幅に改善された。
論文 参考訳（メタデータ） (2024-06-07T15:38:27Z) - A practical existence theorem for reduced order models based on convolutional autoencoders [0.4604003661048266]
部分微分方程式 (PDE) と還元次数モデリング (ROM) の分野ではディープラーニングが人気を博している。
CNNベースのオートエンコーダは、複雑な非線形問題に対処する際、低基底法などの確立された手法よりも極めて効果的であることが証明されている。
パラメーター対解写像が正則である場合、CNNベースの自己エンコーダに対して新しい実用的存在定理を提供する。
論文 参考訳（メタデータ） (2024-02-01T09:01:58Z) - Higher-order topological kernels via quantum computation [68.8204255655161]
トポロジカルデータ分析(TDA)は、複雑なデータから意味のある洞察を抽出する強力なツールとして登場した。
本稿では,ベッチ曲線の次数増加に基づくBettiカーネルの量子的定義法を提案する。
論文 参考訳（メタデータ） (2023-07-14T14:48:52Z) - Partial Differential Equations Meet Deep Neural Networks: A Survey [10.817323756266527]
科学と工学の問題は、数学的モデリングを通して偏微分方程式(PDE)の集合で表すことができる。
PDEに続くメカニズムベースの計算は、長い間、計算流体力学のようなトピックを研究する上で欠かせないパラダイムであった。
PDEを解く効果的な手段として、深層ニューラルネットワーク(DNN)が登場している。
論文 参考訳（メタデータ） (2022-10-27T07:01:56Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z) - Towards an Efficient and General Framework of Robust Training for Graph
Neural Networks [96.93500886136532]
グラフニューラルネットワーク(GNN)は、いくつかの基本的な推論タスクに大きく進歩している。
GNNの目覚ましい性能にもかかわらず、グラフ構造上の摂動を慎重に作り、誤った予測を下すことが観察されている。
我々は,強靭なGNNを得るために,欲求探索アルゴリズムとゼロ階法を利用する汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-25T15:17:58Z) - The gap between theory and practice in function approximation with deep
neural networks [2.969705152497174]
ディープラーニング(DL)は、意思決定プロセスが現実世界のデータに基づいてトレーニングされたディープニューラルネットワーク(DNN)によって自動化されているため、業界を変革している。
そこで我々は,実際にDNNを検証するための計算フレームワークを導入し,これらの問題に関して経験的性能の研究に利用した。
論文 参考訳（メタデータ） (2020-01-16T20:08:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。