論文の概要: The Parametric Complexity of Operator Learning
- arxiv url: http://arxiv.org/abs/2306.15924v3
- Date: Fri, 1 Mar 2024 22:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 20:55:54.469351
- Title: The Parametric Complexity of Operator Learning
- Title(参考訳): オペレーター学習のパラメトリック複雑性
- Authors: Samuel Lanthaler and Andrew M. Stuart
- Abstract要約: 「本論は、Cr$-またはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習がパラメトリック複雑性の呪いに苦しむことを証明することを目的としている。」
この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。
HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
- 参考スコア(独自算出の注目度): 6.800286371280922
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operator architectures employ neural networks to approximate operators
mapping between Banach spaces of functions; they may be used to accelerate
model evaluations via emulation, or to discover models from data. Consequently,
the methodology has received increasing attention over recent years, giving
rise to the rapidly growing field of operator learning. The first contribution
of this paper is to prove that for general classes of operators which are
characterized only by their $C^r$- or Lipschitz-regularity, operator learning
suffers from a ``curse of parametric complexity'', which is an
infinite-dimensional analogue of the well-known curse of dimensionality
encountered in high-dimensional approximation problems. The result is
applicable to a wide variety of existing neural operators, including PCA-Net,
DeepONet and the FNO. The second contribution of the paper is to prove that
this general curse can be overcome for solution operators defined by the
Hamilton-Jacobi equation; this is achieved by leveraging additional structure
in the underlying solution operator, going beyond regularity. To this end, a
novel neural operator architecture is introduced, termed HJ-Net, which
explicitly takes into account characteristic information of the underlying
Hamiltonian system. Error and complexity estimates are derived for HJ-Net which
show that this architecture can provably beat the curse of parametric
complexity related to the infinite-dimensional input and output function
spaces.
- Abstract(参考訳): ニューラルネットワークを用いて、関数のバナッハ空間間の演算子マッピングを近似し、エミュレーションによってモデル評価を加速したり、データからモデルを発見したりすることができる。
その結果,近年,この手法が注目され,オペレーター学習の分野が急速に拡大している。
この論文の第一の貢献は、C^r$-あるいはリプシッツ正則性のみによって特徴づけられる作用素の一般クラスに対して、作用素学習は高次元近似問題においてよく知られた次元の呪いの無限次元の類似である「パラメトリック複雑性の帰結」に苦しむことを証明することである。
その結果は、PCA-Net、DeepONet、FNOなど、さまざまな既存のニューラル演算子に適用できる。
論文の第二の貢献は、ハミルトン・ヤコビ方程式によって定義される解作用素に対してこの一般的な呪いが克服可能であることを証明することである。
この目的のために、hj-netと呼ばれる新しいニューラルオペレーターアーキテクチャが導入され、基盤となるハミルトン系の特性情報を明示的に考慮した。
誤差と複雑性の推定はhj-netによって導出され、このアーキテクチャは無限次元の入出力関数空間に関連するパラメトリック複雑性の呪いを打ち負かすことができる。
関連論文リスト
- Operator Learning: Algorithms and Analysis [8.305111048568737]
オペレータ学習(Operator learning)は、機械学習から、関数のバナッハ空間間の近似演算子へのアイデアの適用を指す。
このレビューは、有限次元ユークリッド空間上で定義される関数の近似におけるディープニューラルネットワークの成功に基づいて構築されたニューラル演算子に焦点を当てる。
論文 参考訳(メタデータ) (2024-02-24T04:40:27Z) - GIT-Net: Generalized Integral Transform for Operator Learning [58.13313857603536]
本稿では、部分微分方程式(PDE)演算子を近似するディープニューラルネットワークアーキテクチャであるGIT-Netを紹介する。
GIT-Netは、PDEを定義するためによく使われる微分作用素が、特殊機能基底で表現されるときに、しばしば同義的に表現されるという事実を利用する。
数値実験により、GIT-Netは競争力のあるニューラルネットワーク演算子であり、様々なPDE問題に対して小さなテストエラーと低い評価を示すことが示された。
論文 参考訳(メタデータ) (2023-12-05T03:03:54Z) - Representation Equivalent Neural Operators: a Framework for Alias-free
Operator Learning [11.11883703395469]
この研究は、Representation equivalent Neural Operators (ReNO) フレームワークによるニューラル演算子に対する新たな取り組みを提供する。
中心となるのは演算子エイリアスの概念であり、これは神経演算子とその離散表現の不整合を測定する。
我々の研究結果は、異なる離散化やグリッドを扱う際にエイリアシングがエラーを発生させ、重要な連続構造が失われることについて詳述している。
論文 参考訳(メタデータ) (2023-05-31T14:45:34Z) - The Nonlocal Neural Operator: Universal Approximation [9.28489418323604]
本稿では,非局所的ニューラル演算子 (NNO) と呼ばれる演算子近似器を新たに導入し,任意のジオメトリ上で定義された関数間の演算子近似を可能にする。
非局所性の役割と非線形性との相互作用に新たな光を当て、非局所性に関するより体系的な探索の道を開く。
論文 参考訳(メタデータ) (2023-04-26T01:03:11Z) - Operator learning with PCA-Net: upper and lower complexity bounds [2.375038919274297]
PCA-Netは、主成分分析とニューラルネットワークを組み合わせた、最近提案されたニューラルネットワークアーキテクチャである。
基礎作用素に対する最小の仮定の下で、新しい普遍近似結果が導出される。
PCA-Netは、ダーシー流とナビエ・ストークス方程式から生じる特定の興味を持つ演算子の一般的な呪いを克服することができる。
論文 参考訳(メタデータ) (2023-03-28T21:27:36Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳(メタデータ) (2022-11-22T16:30:33Z) - Neural Operator: Learning Maps Between Function Spaces [75.93843876663128]
本稿では,無限次元関数空間間を写像する演算子,いわゆるニューラル演算子を学習するためのニューラルネットワークの一般化を提案する。
提案したニューラル作用素に対して普遍近似定理を証明し、任意の非線形連続作用素を近似することができることを示す。
ニューラル作用素に対する重要な応用は、偏微分方程式の解作用素に対する代理写像を学習することである。
論文 参考訳(メタデータ) (2021-08-19T03:56:49Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳(メタデータ) (2020-11-09T18:32:22Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Self-Organized Operational Neural Networks with Generative Neurons [87.32169414230822]
ONNは、任意の非線型作用素をカプセル化できる一般化されたニューロンモデルを持つ異種ネットワークである。
我々は,各接続の結節演算子を適応(最適化)できる生成ニューロンを有する自己組織型ONN(Self-ONNs)を提案する。
論文 参考訳(メタデータ) (2020-04-24T14:37:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。