論文の概要: An Approximation Theory for Metric Space-Valued Functions With A View
Towards Deep Learning
- arxiv url: http://arxiv.org/abs/2304.12231v2
- Date: Mon, 24 Jul 2023 16:00:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 23:13:57.706037
- Title: An Approximation Theory for Metric Space-Valued Functions With A View
Towards Deep Learning
- Title（参考訳）: 深層学習をめざした計量空間値関数の近似理論
- Authors: Anastasis Kratsios, Chong Liu, Matti Lassas, Maarten V. de Hoop, Ivan
Dokmani\'c
- Abstract要約: 任意のポーランド計量空間 $mathcalX$ と $mathcalY$ の間の連続写像の普遍函数近似器を構築する。
特に、必要なディラック測度数は $mathcalX$ と $mathcalY$ の構造によって決定されることを示す。
- 参考スコア（独自算出の注目度）: 25.25903127886586
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Motivated by the developing mathematics of deep learning, we build universal
functions approximators of continuous maps between arbitrary Polish metric
spaces $\mathcal{X}$ and $\mathcal{Y}$ using elementary functions between
Euclidean spaces as building blocks. Earlier results assume that the target
space $\mathcal{Y}$ is a topological vector space. We overcome this limitation
by ``randomization'': our approximators output discrete probability measures
over $\mathcal{Y}$. When $\mathcal{X}$ and $\mathcal{Y}$ are Polish without
additional structure, we prove very general qualitative guarantees; when they
have suitable combinatorial structure, we prove quantitative guarantees for
H\"{o}lder-like maps, including maps between finite graphs, solution operators
to rough differential equations between certain Carnot groups, and continuous
non-linear operators between Banach spaces arising in inverse problems. In
particular, we show that the required number of Dirac measures is determined by
the combinatorial structure of $\mathcal{X}$ and $\mathcal{Y}$. For barycentric
$\mathcal{Y}$, including Banach spaces, $\mathbb{R}$-trees, Hadamard manifolds,
or Wasserstein spaces on Polish metric spaces, our approximators reduce to
$\mathcal{Y}$-valued functions. When the Euclidean approximators are neural
networks, our constructions generalize transformer networks, providing a new
probabilistic viewpoint of geometric deep learning.
- Abstract（参考訳）: 深層学習の数学の発展により、任意のポーランド計量空間 $\mathcal{X}$ と $\mathcal{Y}$ の間の連続写像の普遍関数近似器を構築し、ユークリッド空間間の基本関数をビルディングブロックとして利用する。
初期の結果は、対象空間 $\mathcal{Y}$ が位相ベクトル空間であると仮定した。
この制限を ``randomization'' で克服する: 近似子は$\mathcal{y}$ 以上の離散確率測度を出力する。
適当な組合せ構造を持つ場合には、有限グラフ間の写像、カルノー群間の粗微分方程式への解作用素、逆問題に起因するバナッハ空間間の連続非線型作用素を含む H\"{o}lder-like map に対する定量的保証を証明します。
特に、必要なディラック測度の数が $\mathcal{x}$ と $\mathcal{y}$ の組合せ構造によって決定されることを示す。
バナッハ空間、$\mathbb{R}$-ツリー、アダマール多様体、ポーランド計量空間上のワッサーシュタイン空間を含む、偏心$\mathcal{Y}$に対して、近似器は$\mathcal{Y}$-値関数に還元される。
ユークリッド近似器がニューラルネットワークである場合、我々はトランスフォーマーネットワークを一般化し、幾何学的深層学習の新しい確率論的視点を提供する。
関連論文リスト
- A Theory of Interpretable Approximations [61.90216959710842]
我々は、ある基底クラス $mathcalH$ の概念の小さな集合によってターゲット概念 $c$ を近似するという考え方を研究する。
任意の$mathcalH$と$c$のペアに対して、これらのケースのちょうど1つが成り立つ: (i) $c$を任意の精度で$mathcalH$で近似することはできない。
解釈可能な近似の場合、近似の複雑さに関するわずかに非自明なa-priori保証でさえ、定数(分布自由かつ精度)の近似を意味することを示す。
論文 参考訳（メタデータ） (2024-06-15T06:43:45Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - The Sketched Wasserstein Distance for mixture distributions [13.643197515573029]
スケッチド・ワッサースタイン距離(英: Sketched Wasserstein Distance)(WS$)は、有限混合分布に特化された新しい確率距離である。
我々は、$WS$が、$mathcalS = textrmconv(mathcalA)$ の要素の混合の空間に最も区別できるものとして定義されることを示す。
論文 参考訳（メタデータ） (2022-06-26T02:33:40Z) - Learning a Single Neuron with Adversarial Label Noise via Gradient
Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。
学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文 参考訳（メタデータ） (2022-06-17T17:55:43Z) - Local approximation of operators [0.0]
距離空間 $mathfrakX$ と $mathfrakY$ の間の非線形作用素の近似の度合いを決定する問題について検討する。
例えば、$mathbbSd$ の近似に関係する定数は $mathcalO(d1/6)$ である。
論文 参考訳（メタデータ） (2022-02-13T19:28:34Z) - Metric Hypertransformers are Universal Adapted Maps [4.83420384410068]
メートル法ハイパートランスフォーマー(MHT)は、任意の適応マップを近似可能な複雑性で、$F:mathscrXmathbbZrightarrow数学scrYmathbbZ$を近似することができる。
我々の結果は、そのような$mathscrX$ および $mathscrY$ と互換性のある最初の(近似的な)普遍近似定理を提供する。
論文 参考訳（メタデータ） (2022-01-31T10:03:46Z) - Universal Regular Conditional Distributions via Probability
Measure-Valued Deep Neural Models [3.8073142980733]
提案したフレームワークを用いて構築されたモデルはすべて、$C(mathcalX,mathcalP_1(mathcalY))$で密集している。
提案モデルはまた、ほとんどのランダム化された機械学習モデルに存在するアレラトリック不確かさを汎用的に表現できることも示している。
論文 参考訳（メタデータ） (2021-05-17T11:34:09Z) - Small Covers for Near-Zero Sets of Polynomials and Learning Latent
Variable Models [56.98280399449707]
我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。
構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
論文 参考訳（メタデータ） (2020-12-14T18:14:08Z) - Average-case Complexity of Teaching Convex Polytopes via Halfspace
Queries [55.28642461328172]
平均的なケースの教えの複雑さは$Theta(d)$であり、最悪のケースの教えの複雑さは$Theta(n)$とは対照的である。
我々の洞察は、$phi$-separable dichotomiesの平均ケースの複雑さに厳密な拘束力を確立することを可能にする。
論文 参考訳（メタデータ） (2020-06-25T19:59:24Z) - A diffusion approach to Stein's method on Riemannian manifolds [65.36007959755302]
我々は、ターゲット不変測度を持つ$mathbf M$上の拡散の生成元と、その特徴付けStein演算子との関係を利用する。
我々は、スタイン方程式とその微分に解を束縛するスタイン因子を導出する。
我々は、$mathbf M$ が平坦多様体であるとき、$mathbb Rm$ の有界が有効であることを暗示する。
論文 参考訳（メタデータ） (2020-03-25T17:03:58Z) - Learning the Hypotheses Space from data Part II: Convergence and
Feasibility [0.0]
学習空間に基づくモデル選択フレームワークの一貫性を示す。
データから仮説空間を学習することは可能であることを示す。
論文 参考訳（メタデータ） (2020-01-30T21:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。