論文の概要: Kernel Methods are Competitive for Operator Learning
- arxiv url: http://arxiv.org/abs/2304.13202v1
- Date: Wed, 26 Apr 2023 00:07:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 15:55:33.177339
- Title: Kernel Methods are Competitive for Operator Learning
- Title（参考訳）: Kernel Methodsは演算子学習の競争力を持つ
- Authors: Pau Batlle, Matthieu Darcy, Bamdad Hosseini, Houman Owhadi
- Abstract要約: 本稿では,Banach空間間の演算子を学習するためのカーネルベースのフレームワークと,プリオリエラー解析を提案する。
バニラカーネルを使用したとしても、当社のアプローチはコスト-正確性トレードオフの点で競争力があることが示されています。
- 参考スコア（独自算出の注目度）: 1.2617078020344619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a general kernel-based framework for learning operators between
Banach spaces along with a priori error analysis and comprehensive numerical
comparisons with popular neural net (NN) approaches such as Deep Operator Net
(DeepONet) [Lu et al.] and Fourier Neural Operator (FNO) [Li et al.]. We
consider the setting where the input/output spaces of target operator
$\mathcal{G}^\dagger\,:\, \mathcal{U}\to \mathcal{V}$ are reproducing kernel
Hilbert spaces (RKHS), the data comes in the form of partial observations
$\phi(u_i), \varphi(v_i)$ of input/output functions
$v_i=\mathcal{G}^\dagger(u_i)$ ($i=1,\ldots,N$), and the measurement operators
$\phi\,:\, \mathcal{U}\to \mathbb{R}^n$ and $\varphi\,:\, \mathcal{V} \to
\mathbb{R}^m$ are linear. Writing $\psi\,:\, \mathbb{R}^n \to \mathcal{U}$ and
$\chi\,:\, \mathbb{R}^m \to \mathcal{V}$ for the optimal recovery maps
associated with $\phi$ and $\varphi$, we approximate $\mathcal{G}^\dagger$ with
$\bar{\mathcal{G}}=\chi \circ \bar{f} \circ \phi$ where $\bar{f}$ is an optimal
recovery approximation of $f^\dagger:=\varphi \circ \mathcal{G}^\dagger \circ
\psi\,:\,\mathbb{R}^n \to \mathbb{R}^m$. We show that, even when using vanilla
kernels (e.g., linear or Mat\'{e}rn), our approach is competitive in terms of
cost-accuracy trade-off and either matches or beats the performance of NN
methods on a majority of benchmarks. Additionally, our framework offers several
advantages inherited from kernel methods: simplicity, interpretability,
convergence guarantees, a priori error estimates, and Bayesian uncertainty
quantification. As such, it can serve as a natural benchmark for operator
learning.
- Abstract（参考訳）: 本稿では,バナッハ空間間の演算子を学習するための一般的なカーネルベースのフレームワークと,事前誤差解析と,ディープ演算子ネット (deeponet) [lu et al.] やフーリエニューラルネットワーク (fno) [li et al.] といった一般的なニューラルネットワーク (nn) アプローチとの包括的数値比較について述べる。
対象演算子の入出力空間$\mathcal{g}^\dagger\,:\, \mathcal{u}\to \mathcal{v}$ がカーネルヒルベルト空間(rkhs)の再現であるような設定を考えると、データは部分的観測の形式によって得られる:$\phi(u_i), \varphi(v_i)$ of input/output関数$v_i=\mathcal{g}^\dagger(u_i)$ ($i=1,\ldots,n$) および計測演算子$\phi\,:\, \mathcal{u}\to \mathbb{r}^n$ および$\varphi\,:\, \mathcal{v} \to \mathbb{r}^m}} は線型である。
$\psi\,:\, \mathbb{r}^n \to \mathcal{u}$ と $\chi\,:\, \mathbb{r}^m \to \mathcal{v}$ と書けば、$\phi$ と $\varphi$ に対応する最適な回復写像に対して、$\mathcal{g}^\dagger$ と $\bar{\mathcal{g}}=\chi \circ \bar{f} \circ \phi$ を近似し、$f^\dagger:=\varphi \circ \mathcal{g}^\dagger \circ \psi\,:\,\mathbb{r}^m \to \mathbb{r}^m を近似する。
我々は、バニラカーネル(例えば、線形あるいはmat\'{e}rn)を使用する場合であっても、コスト正確性のトレードオフの観点からは競合であり、ほとんどのベンチマークでnnメソッドのパフォーマンスと一致または打ち勝っていることを示す。
さらに,このフレームワークは,単純性,解釈性,収束保証,事前誤差推定,ベイズ不確かさの定量化といったカーネル手法から継承されるいくつかの利点を提供する。
したがって、オペレーター学習の自然なベンチマークとして機能することができる。
関連論文リスト
- Operator Learning with Gaussian Processes [0.18641315013048293]
演算子学習は、関数の無限次元空間間の近似写像 $mathcalGdagger:mathcalU rightarrowmathcalV$ に焦点を当てる。
両手法の長所を生かした演算子学習のためのGP/NNベースのハイブリッドフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-06T18:06:08Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Beyond Independent Measurements: General Compressed Sensing with GNN
Application [4.924126492174801]
我々は、ノイズコーン観測からmathbbRn$の構造化信号$mathbfxを復元する問題を考察する。
実効的な$mathbfB$は測定値のサロゲートとして用いられる可能性がある。
論文 参考訳（メタデータ） (2021-10-30T20:35:56Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Optimal Spectral Recovery of a Planted Vector in a Subspace [80.02218763267992]
我々は、$ell_4$ノルムが同じ$ell$ノルムを持つガウスベクトルと異なるプラントベクトル$v$の効率的な推定と検出について研究する。
規則$n rho gg sqrtN$ では、大クラスのスペクトル法(そしてより一般的には、入力の低次法)は、植込みベクトルの検出に失敗する。
論文 参考訳（メタデータ） (2021-05-31T16:10:49Z) - Kernel Thinning [26.25415159542831]
カーネルの薄型化は、サンプリングや標準的な薄型化よりも効率的に$mathbbP$を圧縮するための新しい手順である。
我々は、ガウス、マタン、およびB-スプライン核に対する明示的な非漸近的な最大誤差境界を導出する。
論文 参考訳（メタデータ） (2021-05-12T17:56:42Z) - A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property [4.18804572788063]
任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。
本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
論文 参考訳（メタデータ） (2020-06-24T17:46:35Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。