論文の概要: A Transfer Principle: Universal Approximators Between Metric Spaces From
Euclidean Universal Approximators
- arxiv url: http://arxiv.org/abs/2304.12231v1
- Date: Mon, 24 Apr 2023 16:18:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 14:18:51.465645
- Title: A Transfer Principle: Universal Approximators Between Metric Spaces From
Euclidean Universal Approximators
- Title（参考訳）: 移動原理:ユークリッドの普遍近似器による距離空間間の普遍近似器
- Authors: Anastasis Kratsios, Chong Liu, Matti Lassas, Maarten V. de Hoop, Ivan
Dokmani\'c
- Abstract要約: 任意のポーランド計量空間 $mathcalX$ と $mathcalY$ の間の連続写像の普遍近似器を構築する。
特に、必要なディラック測度数は $mathcalX$ と $mathcalY$ の構造によって決定されることを示す。
- 参考スコア（独自算出の注目度）: 25.25903127886586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We build universal approximators of continuous maps between arbitrary Polish
metric spaces $\mathcal{X}$ and $\mathcal{Y}$ using universal approximators
between Euclidean spaces as building blocks. Earlier results assume that the
output space $\mathcal{Y}$ is a topological vector space. We overcome this
limitation by "randomization": our approximators output discrete probability
measures over $\mathcal{Y}$. When $\mathcal{X}$ and $\mathcal{Y}$ are Polish
without additional structure, we prove very general qualitative guarantees;
when they have suitable combinatorial structure, we prove quantitative
guarantees for H\"older-like maps, including maps between finite graphs,
solution operators to rough differential equations between certain Carnot
groups, and continuous non-linear operators between Banach spaces arising in
inverse problems. In particular, we show that the required number of Dirac
measures is determined by the combinatorial structure of $\mathcal{X}$ and
$\mathcal{Y}$. For barycentric $\mathcal{Y}$, including Banach spaces,
$\mathbb{R}$-trees, Hadamard manifolds, or Wasserstein spaces on Polish metric
spaces, our approximators reduce to $\mathcal{Y}$-valued functions. When the
Euclidean approximators are neural networks, our constructions generalize
transformer networks, providing a new probabilistic viewpoint of geometric deep
learning.
- Abstract（参考訳）: 任意のポーランド計量空間 $\mathcal{X}$ と $\mathcal{Y}$ の間の連続写像の普遍近似器をユークリッド空間間の普遍近似器を用いて構築する。
初期の結果は出力空間 $\mathcal{Y}$ が位相ベクトル空間であると仮定した。
近似器は$\mathcal{Y}$に対して離散確率測度を出力する。
もし$\mathcal{x}$ と $\mathcal{y}$ が追加構造なしでポーランドであるなら、非常に一般的な定性的保証を証明し、それらが適切な組合せ構造を持つとき、有限グラフ間の写像、ある種のカルノ群間の粗微分方程式に対する解作用素、逆問題で生じるバナッハ空間の間の連続的非線形作用素を含む h\"older-like map の量的保証を証明する。
特に、必要なディラック測度の数が $\mathcal{x}$ と $\mathcal{y}$ の組合せ構造によって決定されることを示す。
バナッハ空間、$\mathbb{R}$-ツリー、アダマール多様体、ポーランド計量空間上のワッサーシュタイン空間を含む、偏心$\mathcal{Y}$に対して、近似器は$\mathcal{Y}$-値関数に還元される。
ユークリッド近似器がニューラルネットワークである場合、我々はトランスフォーマーネットワークを一般化し、幾何学的深層学習の新しい確率論的視点を提供する。
関連論文リスト
- A Theory of Interpretable Approximations [61.90216959710842]
我々は、ある基底クラス $mathcalH$ の概念の小さな集合によってターゲット概念 $c$ を近似するという考え方を研究する。
任意の$mathcalH$と$c$のペアに対して、これらのケースのちょうど1つが成り立つ: (i) $c$を任意の精度で$mathcalH$で近似することはできない。
解釈可能な近似の場合、近似の複雑さに関するわずかに非自明なa-priori保証でさえ、定数(分布自由かつ精度)の近似を意味することを示す。
論文 参考訳（メタデータ） (2024-06-15T06:43:45Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Manifold learning in Wasserstein space [2.9581047417235298]
We build the theory foundations for manifold learning algorithm on a compact and convex subset of $mathbbRd$, metrized with the Wasserstein-2 distance $mathrmW$。
距離空間 $(Lambda,mathrmW_Lambda)$ は、ノード $lambda_i_i=1N とエッジウェイト $lambda_i,lambda_j を持つグラフからグロモフ-ワッサーシュタインの意味で、直感的に回復可能であることを示す。
論文 参考訳（メタデータ） (2023-11-14T21:21:35Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - Metric Hypertransformers are Universal Adapted Maps [4.83420384410068]
メートル法ハイパートランスフォーマー(MHT)は、任意の適応マップを近似可能な複雑性で、$F:mathscrXmathbbZrightarrow数学scrYmathbbZ$を近似することができる。
我々の結果は、そのような$mathscrX$ および $mathscrY$ と互換性のある最初の(近似的な)普遍近似定理を提供する。
論文 参考訳（メタデータ） (2022-01-31T10:03:46Z) - Universal Regular Conditional Distributions via Probability
Measure-Valued Deep Neural Models [3.8073142980733]
提案したフレームワークを用いて構築されたモデルはすべて、$C(mathcalX,mathcalP_1(mathcalY))$で密集している。
提案モデルはまた、ほとんどのランダム化された機械学習モデルに存在するアレラトリック不確かさを汎用的に表現できることも示している。
論文 参考訳（メタデータ） (2021-05-17T11:34:09Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳（メタデータ） (2020-12-14T18:14:08Z) - Average-case Complexity of Teaching Convex Polytopes via Halfspace
Queries [55.28642461328172]
平均的なケースの教えの複雑さは$Theta(d)$であり、最悪のケースの教えの複雑さは$Theta(n)$とは対照的である。
我々の洞察は、$phi$-separable dichotomiesの平均ケースの複雑さに厳密な拘束力を確立することを可能にする。
論文 参考訳（メタデータ） (2020-06-25T19:59:24Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳（メタデータ） (2020-03-25T17:03:58Z) - Learning the Hypotheses Space from data Part II: Convergence and
Feasibility [0.0]
学習空間に基づくモデル選択フレームワークの一貫性を示す。
データから仮説空間を学習することは可能であることを示す。
論文 参考訳（メタデータ） (2020-01-30T21:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。