論文の概要: Operator learning with PCA-Net: upper and lower complexity bounds
- arxiv url: http://arxiv.org/abs/2303.16317v1
- Date: Tue, 28 Mar 2023 21:27:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 16:41:54.927909
- Title: Operator learning with PCA-Net: upper and lower complexity bounds
- Title(参考訳): PCA-Netによる演算子学習--上と下の境界
- Authors: Samuel Lanthaler
- Abstract要約: PCA-Netは、主成分分析とニューラルネットワークを組み合わせて、基礎となる演算子を近似するニューラルネットワークアーキテクチャである。
本稿では,本手法の近似理論を考案し,従来の手法を改良し,その方向に大幅に拡張する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural operators are gaining attention in computational science and
engineering. PCA-Net is a recently proposed neural operator architecture which
combines principal component analysis (PCA) with neural networks to approximate
an underlying operator. The present work develops approximation theory for this
approach, improving and significantly extending previous work in this
direction. In terms of qualitative bounds, this paper derives a novel universal
approximation result, under minimal assumptions on the underlying operator and
the data-generating distribution. In terms of quantitative bounds, two
potential obstacles to efficient operator learning with PCA-Net are identified,
and made rigorous through the derivation of lower complexity bounds; the first
relates to the complexity of the output distribution, measured by a slow decay
of the PCA eigenvalues. The other obstacle relates the inherent complexity of
the space of operators between infinite-dimensional input and output spaces,
resulting in a rigorous and quantifiable statement of the curse of
dimensionality. In addition to these lower bounds, upper complexity bounds are
derived; first, a suitable smoothness criterion is shown to ensure a algebraic
decay of the PCA eigenvalues. Then, it is shown that PCA-Net can overcome the
general curse of dimensionality for specific operators of interest, arising
from the Darcy flow and Navier-Stokes equations.
- Abstract(参考訳): ニューラル演算子は計算科学と工学で注目を集めている。
pca-netは、主成分分析(pca)とニューラルネットワークを組み合わせた最近提案されたニューラルネットワークアーキテクチャである。
本研究は,このアプローチの近似理論を展開し,従来の研究を改良し,その方向に大きく拡張する。
定性的境界に関して、本論文は、基礎となる演算子とデータ生成分布に関する最小の仮定の下で、新しい普遍近似結果を導出する。
定量的境界に関して、PCA-Netを用いた効率的な演算子学習のための2つの潜在的障害を特定し、より低い複雑性境界の導出により厳密にし、第1に、PCA固有値の緩やかな減衰によって測定された出力分布の複雑さに関連する。
もう1つの障害は、無限次元の入力空間と出力空間の間の作用素空間の固有の複雑さに関係し、その結果、厳密で定量化可能な次元の呪いのステートメントをもたらす。
これらの下界に加えて、上述の複雑性境界が導出され、第一に、pca固有値の代数的減衰を保証する適切な滑らかさ基準が示される。
そこで,PCA-Netは,ダーシー流とナビエ・ストークス方程式から生じる,特定の操作者に対する次元性の一般的な呪いを克服できることを示した。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。
MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。
乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-29T20:18:52Z) - The Parametric Complexity of Operator Learning [6.800286371280922]
「本論は、Cr$-またはLipschitz-regularityのみによって特徴づけられる作用素の一般クラスに対して、演算子学習がパラメトリック複雑性の呪いに苦しむことを証明することを目的としている。」
この論文の第二の貢献は、ハミルトン・ヤコビ方程式で定義される解作用素に対して、この一般的な呪いが克服可能であることを証明することである。
HJ-Netと呼ばれる新しいニューラル演算子アーキテクチャが導入され、基礎となるハミルトン系の特性情報を明示的に考慮している。
論文 参考訳(メタデータ) (2023-06-28T05:02:03Z) - Support Recovery in Sparse PCA with Non-Random Missing Data [27.3669650952144]
非ランダムサンプリング方式の下で,不完全かつノイズの多いデータに基づいてスパースPCAの実用的なアルゴリズムを解析する。
理論的には、ある条件下では、スパースリード固有ベクトルの支持を高い確率で回復することができる。
提案アルゴリズムは, 観察された成分が良好な構造特性を持つ場合, その他のスパースPCA手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-02-03T04:20:25Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳(メタデータ) (2022-10-08T08:26:22Z) - Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。
線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
論文 参考訳(メタデータ) (2022-04-20T21:15:38Z) - Bounds on quantum evolution complexity via lattice cryptography [0.0]
量子論における可積分運動とカオス運動の差は、対応する進化作用素の複雑さによって表される。
ここでの複雑性は、時間依存進化作用素とユニタリ群内の原点の間の最短測地線距離として理解されている。
論文 参考訳(メタデータ) (2022-02-28T16:20:10Z) - Controlling the Complexity and Lipschitz Constant improves polynomial
nets [55.121200972539114]
多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。
本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
論文 参考訳(メタデータ) (2022-02-10T14:54:29Z) - A Linearly Convergent Algorithm for Distributed Principal Component
Analysis [12.91948651812873]
本稿では,1時間スケール分散pcaアルゴリズムである分散sanger's algorithm(dsa)を提案する。
提案アルゴリズムは真の解の近傍に線形収束することを示した。
論文 参考訳(メタデータ) (2021-01-05T00:51:14Z) - Approximation Algorithms for Sparse Principal Component Analysis [57.5357874512594]
主成分分析(PCA)は、機械学習と統計学において広く使われている次元削減手法である。
スパース主成分分析(Sparse principal Component Analysis)と呼ばれる,スパース主成分負荷を求める様々な手法が提案されている。
本研究では,SPCA問題に対するしきい値の精度,時間,近似アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-23T04:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。