論文の概要: Metric Hypertransformers are Universal Adapted Maps
- arxiv url: http://arxiv.org/abs/2201.13094v1
- Date: Mon, 31 Jan 2022 10:03:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 19:55:12.429227
- Title: Metric Hypertransformers are Universal Adapted Maps
- Title（参考訳）: メトリックハイパートランスフォーマーはユニバーサル適応マップである
- Authors: Beatrice Acciaio, Anastasis Kratsios, Gudmund Pammer
- Abstract要約: メートル法ハイパートランスフォーマー(MHT)は、任意の適応マップを近似可能な複雑性で、$F:mathscrXmathbbZrightarrow数学scrYmathbbZ$を近似することができる。
我々の結果は、そのような$mathscrX$ および $mathscrY$ と互換性のある最初の(近似的な)普遍近似定理を提供する。
- 参考スコア（独自算出の注目度）: 4.83420384410068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce a universal class of geometric deep learning models, called
metric hypertransformers (MHTs), capable of approximating any adapted map
$F:\mathscr{X}^{\mathbb{Z}}\rightarrow \mathscr{Y}^{\mathbb{Z}}$ with
approximable complexity, where $\mathscr{X}\subseteq \mathbb{R}^d$ and
$\mathscr{Y}$ is any suitable metric space, and $\mathscr{X}^{\mathbb{Z}}$
(resp. $\mathscr{Y}^{\mathbb{Z}}$) capture all discrete-time paths on
$\mathscr{X}$ (resp. $\mathscr{Y}$). Suitable spaces $\mathscr{Y}$ include
various (adapted) Wasserstein spaces, all Fr\'{e}chet spaces admitting a
Schauder basis, and a variety of Riemannian manifolds arising from information
geometry. Even in the static case, where $f:\mathscr{X}\rightarrow \mathscr{Y}$
is a H\"{o}lder map, our results provide the first (quantitative) universal
approximation theorem compatible with any such $\mathscr{X}$ and $\mathscr{Y}$.
Our universal approximation theorems are quantitative, and they depend on the
regularity of $F$, the choice of activation function, the metric entropy and
diameter of $\mathscr{X}$, and on the regularity of the compact set of paths
whereon the approximation is performed. Our guiding examples originate from
mathematical finance. Notably, the MHT models introduced here are able to
approximate a broad range of stochastic processes' kernels, including solutions
to SDEs, many processes with arbitrarily long memory, and functions mapping
sequential data to sequences of forward rate curves.
- Abstract（参考訳）: 我々は、任意の適応写像 $F:\mathscr{X}^{\mathbb{Z}}\rightarrow \mathscr{Y}^{\mathbb{Z}}$を近似可能な複雑性で近似できる計量ハイパートランスフォーマー (MHTs) と呼ばれる幾何学的深層学習モデルの普遍クラスを導入し、$\mathscr{X}\subseteq \mathbb{R}^d$と$\mathscr{Y}$は任意の適切な距離空間であり、$\mathscr{X}^{\mathbb{Z}}$ (resp) は任意の適合写像を近似することができる。
$\mathscr{Y}^{\mathbb{Z}}$) は $\mathscr{X}$ (resp) 上のすべての離散時間パスをキャプチャする。
$\mathscr{Y}$)。
適当な空間 $\mathscr{Y}$ には、様々な(適応)ワッサーシュタイン空間、シューダー基底を持つすべての Fr\'{e}chet 空間、情報幾何学から生じる様々なリーマン多様体が含まれる。
静的な場合でさえ、$f:\mathscr{X}\rightarrow \mathscr{Y}$ は H\"{o}lder map であり、我々の結果は、そのような $\mathscr{X}$ と $\mathscr{Y}$ に適合する最初の(定性的な)普遍近似定理を提供する。
我々の普遍近似定理は定量的であり、それらは$f$の正則性、活性化関数の選択、計量エントロピーと$\mathscr{x}$の直径、そして近似が実行されるコンパクトな経路の集合の正則性に依存する。
私たちの指導例は数学の金融から来ています。
特に、ここで導入されたMHTモデルは、SDEへのソリューション、任意に長いメモリを持つ多くのプロセス、シーケンシャルデータをフォワードレート曲線のシーケンスにマッピングする関数など、幅広い確率過程のカーネルを近似することができる。
関連論文リスト
- Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Families of costs with zero and nonnegative MTW tensor in optimal
transport [0.0]
我々は、$mathsfc$のコスト関数を持つ$mathbbRn$上の最適輸送問題に対するMTWテンソルを明示的に計算する。
我々は$sinh$-typeの双曲的コストを分析し、$mathsfc$-type関数と発散の例を提供する。
論文 参考訳（メタデータ） (2024-01-01T20:33:27Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - An Approximation Theory for Metric Space-Valued Functions With A View
Towards Deep Learning [25.25903127886586]
任意のポーランド計量空間 $mathcalX$ と $mathcalY$ の間の連続写像の普遍函数近似器を構築する。
特に、必要なディラック測度数は $mathcalX$ と $mathcalY$ の構造によって決定されることを示す。
論文 参考訳（メタデータ） (2023-04-24T16:18:22Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳（メタデータ） (2020-12-14T18:14:08Z) - A Canonical Transform for Strengthening the Local $L^p$-Type Universal
Approximation Property [4.18804572788063]
任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。
本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
論文 参考訳（メタデータ） (2020-06-24T17:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。