論文の概要: Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions

• arxiv url: http://arxiv.org/abs/2305.12205v2
• Date: Thu, 23 May 2024 08:38:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:32:22.074232
• Title: Vocabulary for Universal Approximation: A Linguistic Perspective of Mapping Compositions
• Title（参考訳）: 普遍近似のための語彙:マッピング構成の言語学的視点
• Authors: Yongqiang Cai,
• Abstract要約: V=phi_i: mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd to mathbbRd
• 参考スコア（独自算出の注目度）: 6.164223149261533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, deep learning-based sequence modelings, such as language models, have received much attention and success, which pushes researchers to explore the possibility of transforming non-sequential problems into a sequential form. Following this thought, deep neural networks can be represented as composite functions of a sequence of mappings, linear or nonlinear, where each composition can be viewed as a \emph{word}. However, the weights of linear mappings are undetermined and hence require an infinite number of words. In this article, we investigate the finite case and constructively prove the existence of a finite \emph{vocabulary} $V=\{\phi_i: \mathbb{R}^d \to \mathbb{R}^d | i=1,...,n\}$ with $n=O(d^2)$ for the universal approximation. That is, for any continuous mapping $f: \mathbb{R}^d \to \mathbb{R}^d$, compact domain $\Omega$ and $\varepsilon>0$, there is a sequence of mappings $\phi_{i_1}, ..., \phi_{i_m} \in V, m \in \mathbb{Z}_+$, such that the composition $\phi_{i_m} \circ ... \circ \phi_{i_1} $ approximates $f$ on $\Omega$ with an error less than $\varepsilon$. Our results demonstrate an unusual approximation power of mapping compositions and motivate a novel compositional model for regular languages.
• Abstract（参考訳）: 近年、言語モデルのようなディープラーニングに基づくシーケンスモデリングは、多くの注目を集め、成功している。 この考え方に従うと、ディープニューラルネットワークは、線形あるいは非線形な一連の写像の合成関数として表され、各合成は \emph{word} と見ることができる。 しかし、線形写像の重みは未決定であり、従って無限個の単語を必要とする。 本稿では、有限の場合を調査し、普遍近似に対して$n=O(d^2)$で有限 \emph{vocabulary} $V=\{\phi_i: \mathbb{R}^d \to \mathbb{R}^d | i=1,...,n\}$の存在を建設的に証明する。 つまり、任意の連続写像 $f: \mathbb{R}^d \to \mathbb{R}^d$, compact domain $\Omega$ and $\varepsilon>0$ に対して、写像の列 $\phi_{i_1}, ..., \phi_{i_m} \in V, m \in \mathbb{Z}_+$ が存在して、合成 $\phi_{i_m} \circ ... \circ \phi_{i_1} $ が $\Omega$ 上の$f$ を誤差で近似する。 本研究は, 正規言語のための新たな構成モデルを構築し, 構成をマッピングする特異な近似能力を示すものである。

関連論文リスト

• Efficient Continual Finite-Sum Minimization [52.5238287567572]
  連続有限サム最小化(continuous finite-sum minimization)と呼ばれる有限サム最小化の鍵となるツイストを提案する。 我々のアプローチは$mathcalO(n/epsilon)$ FOs that $mathrmStochasticGradientDescent$で大幅に改善されます。 また、$mathcalOleft(n/epsilonalpharight)$ complexity gradient for $alpha 1/4$という自然な一階法は存在しないことを証明し、この方法の第一階法がほぼ密であることを示す。
  論文  参考訳（メタデータ） (2024-06-07T08:26:31Z)
• Provably learning a multi-head attention layer [55.2904547651831]
  マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。 本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。 最悪の場合、$m$に対する指数的依存は避けられないことを示す。
  論文  参考訳（メタデータ） (2024-02-06T15:39:09Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Noncompact uniform universal approximation [0.0]
  普遍近似定理は、(コンパクトでない)入力空間 $mathbbRn$ 上の一様収束に一般化される。 無限大で消えるすべての連続関数は、ニューラルネットワークによって一様に近似することができる。
  論文  参考訳（メタデータ） (2023-08-07T08:54:21Z)
• Learning Elastic Costs to Shape Monge Displacements [39.381326738705255]
  モンスター問題は、一方の分布をもう一方にマップする最も効率的な方法を見つけるように要求する。 弾力性のあるコストは、Monge mapのtextitdisplacementsを$T$にします。 本稿では,モンジュマップを最適に計算するための数値計算法を提案する。
  論文  参考訳（メタデータ） (2023-06-20T21:17:32Z)
• Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
  モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。 学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
  論文  参考訳（メタデータ） (2022-06-17T17:55:43Z)
• On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss Embeddings of Low-Dimensional Submanifolds of $\mathbb{R}^N$ [0.24366811507669117]
  $mathcalM$ を $mathbbRN$ のコンパクト $d$-次元部分多様体とし、リーチ $tau$ とボリューム $V_mathcal M$ とする。 非線形関数 $f: mathbbRN rightarrow mathbbRmm が存在し、$m leq C left(d / epsilon2right) log left(fracsqrt[d]V_math が存在することを証明します。
  論文  参考訳（メタデータ） (2022-06-07T15:10:46Z)
• Metric Hypertransformers are Universal Adapted Maps [4.83420384410068]
  メートル法ハイパートランスフォーマー(MHT)は、任意の適応マップを近似可能な複雑性で、$F:mathscrXmathbbZrightarrow数学scrYmathbbZ$を近似することができる。 我々の結果は、そのような$mathscrX$ および $mathscrY$ と互換性のある最初の(近似的な)普遍近似定理を提供する。
  論文  参考訳（メタデータ） (2022-01-31T10:03:46Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• A Canonical Transform for Strengthening the Local $L^p$-Type Universal Approximation Property [4.18804572788063]
  任意の機械学習モデルクラス $mathscrFsubseteq C(mathbbRd,mathbbRD)$ が $Lp_mu(mathbbRd,mathbbRD)$ で密であることを保証する。 本稿では、「$mathscrF$'s approximation property」という正準変換を導入することにより、この近似理論問題に対する一般的な解を提案する。
  論文  参考訳（メタデータ） (2020-06-24T17:46:35Z)
• On the Complexity of Minimizing Convex Finite Sums Without Using the Indices of the Individual Functions [62.01594253618911]
  有限和の有限ノイズ構造を利用して、大域オラクルモデルの下での一致する$O(n2)$-upper境界を導出する。 同様のアプローチを踏襲したSVRGの新規な適応法を提案し、これはオラクルと互換性があり、$tildeO(n2+nsqrtL/mu)log (1/epsilon)$と$O(nsqrtL/epsilon)$, for $mu>0$と$mu=0$の複雑さ境界を実現する。
  論文  参考訳（メタデータ） (2020-02-09T03:39:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。