Fugu-MT 論文翻訳(概要): Subspace Embeddings Under Nonlinear Transformations

論文の概要: Subspace Embeddings Under Nonlinear Transformations

arxiv url: http://arxiv.org/abs/2010.02264v1
Date: Mon, 5 Oct 2020 18:18:04 GMT
ステータス: 処理完了
システム内更新日: 2022-10-10 21:14:42.496866
Title: Subspace Embeddings Under Nonlinear Transformations
Title（参考訳）: 非線形変換による部分空間埋め込み
Authors: Aarshvi Gajjar, Cameron Musco
Abstract要約: 空間 $S = y: y = f(x)text for x in Z$, where $Z$ is a $k$-dimensional subspace of $mathbbRn$ and $f(x)$ is applied to $x$。特に、追加の$epsilon$エラー埋め込みを$O(fracklog (n/epsilon)epsilon2)$ dimensionsに与えます。
参考スコア（独自算出の注目度）: 19.28531602450729
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We consider low-distortion embeddings for subspaces under \emph{entrywise nonlinear transformations}. In particular we seek embeddings that preserve the norm of all vectors in a space $S = \{y: y = f(x)\text{ for }x \in Z\}$, where $Z$ is a $k$-dimensional subspace of $\mathbb{R}^n$ and $f(x)$ is a nonlinear activation function applied entrywise to $x$. When $f$ is the identity, and so $S$ is just a $k$-dimensional subspace, it is known that, with high probability, a random embedding into $O(k/\epsilon^2)$ dimensions preserves the norm of all $y \in S$ up to $(1\pm \epsilon)$ relative error. Such embeddings are known as \emph{subspace embeddings}, and have found widespread use in compressed sensing and approximation algorithms. We give the first low-distortion embeddings for a wide class of nonlinear functions $f$. In particular, we give additive $\epsilon$ error embeddings into $O(\frac{k\log (n/\epsilon)}{\epsilon^2})$ dimensions for a class of nonlinearities that includes the popular Sigmoid SoftPlus, and Gaussian functions. We strengthen this result to give relative error embeddings under some further restrictions, which are satisfied e.g., by the Tanh, SoftSign, Exponential Linear Unit, and many other `soft' step functions and rectifying units. Understanding embeddings for subspaces under nonlinear transformations is a key step towards extending random sketching and compressing sensing techniques for linear problems to nonlinear ones. We discuss example applications of our results to improved bounds for compressed sensing via generative neural networks.
Abstract（参考訳）: 部分空間に対する低歪み埋め込みを \emph{entrywise non transformations} の下で考える。特に、空間 $S = \{y: y = f(x)\text{ for }x \in Z\}$, ここで、$Z$ は $\mathbb{R}^n$ の $k$-次元部分空間であり、$f(x)$ は $x$ にエントリー的に適用される非線型活性化関数である。 f$ が恒等式であり、したがって $s$ が単に $k$-次元の部分空間であるとき、高い確率で $o(k/\epsilon^2)$ 次元へのランダム埋め込みは、すべての $y \in s$ のノルム(1\pm \epsilon)$ 相対誤差を保存することが知られている。このような埋め込みは \emph{subspace embeddings} と呼ばれ、圧縮センシングや近似アルゴリズムで広く使われている。幅広い非線形関数のクラスに対して、最初の低歪み埋め込みを$f$とする。特に、人気のあるシグモイドソフトプラスやガウス関数を含む非線形性のクラスに対して、加法的に$\epsilon$エラー埋め込みを$o(\frac{k\log (n/\epsilon)}{\epsilon^2})$次元に与える。例えば、Tanh、SoftSign、Exponential Linear Unit、その他多くの'soft'ステップ関数や修正ユニットによって満足される。非線形変換の下で部分空間の埋め込みを理解することは、線形問題に対するランダムなスケッチと圧縮センシング技術を非線形に拡張するための重要なステップである。本稿では,生成型ニューラルネットワークを用いた圧縮センシングにおける境界の改善に関する実験例について述べる。

関連論文リスト

Optimal Sketching for Residual Error Estimation for Matrix and Vector Norms [50.15964512954274]
線形スケッチを用いた行列とベクトルノルムの残差誤差推定問題について検討する。これは、前作とほぼ同じスケッチサイズと精度で、経験的にかなり有利であることを示す。また、スパースリカバリ問題に対して$Omega(k2/pn1-2/p)$低いバウンダリを示し、これは$mathrmpoly(log n)$ factorまで厳密である。
論文参考訳（メタデータ） (2024-08-16T02:33:07Z)
Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文参考訳（メタデータ） (2024-02-06T15:39:09Z)
Learned Nonlinear Predictor for Critically Sampled 3D Point Cloud Attribute Compression [24.001318485207207]
我々はデコーダによる3次元点雲圧縮について検討した。本稿では,$f_l*$をレベル$l+1$,$f_l*$$l$,$G_l*$のエンコーディングを$p=1$で予測する。
論文参考訳（メタデータ） (2023-11-22T17:26:54Z)
Optimal Embedding Dimension for Sparse Subspace Embeddings [4.042707434058959]
ランダム$mtimes n$ matrix $S$は、忘れられない部分空間埋め込み(OSE)である。 mtimes n$ random matrix $S$ with $mgeq (1+theta)d$ is an oblivious subspace embedding with $epsilon = O_theta(1)$。これを使用すれば、現在の行列乗算時間よりも早く適用できる$O(d)$埋め込み次元で、最初の難解な部分空間埋め込みを構築することができる。
論文参考訳（メタデータ） (2023-11-17T18:01:58Z)
A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文参考訳（メタデータ） (2023-09-25T17:54:19Z)
Optimal Sketching Bounds for Sparse Linear Regression [116.30196615349226]
我々は、$ell_p$ノルムや広範なヒンジ様損失関数のクラスから、様々な損失関数の下で、$k$スパース線形回帰の難読スケッチを研究する。スパース$ell$varepsレグレッションの場合、$Theta(klog(d/k)/varepsilon2)$ rowsでスケッチの上に曖昧な分布が存在し、これは定数要素に固執することを示している。また、$O(mu2 klog(mun d/varepsilon)/varのスケッチも示します。
論文参考訳（メタデータ） (2023-04-05T07:24:19Z)
Learning linear dynamical systems under convex constraints [4.4351901934764975]
線形力学系を単一軌道の$T$サンプルから同定する問題を考察する。 A*$は、制約のない設定に必要な値よりも$T$小さい値を確実に見積もることができる。
論文参考訳（メタデータ） (2023-03-27T11:49:40Z)
Neural Networks Efficiently Learn Low-Dimensional Representations with SGD [22.703825902761405]
SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
論文参考訳（メタデータ） (2022-09-29T15:29:10Z)
Learning a Single Neuron with Adversarial Label Noise via Gradient Descent [50.659479930171585]
モノトン活性化に対する $mathbfxmapstosigma(mathbfwcdotmathbfx)$ の関数について検討する。学習者の目標は仮説ベクトル $mathbfw$ that $F(mathbbw)=C, epsilon$ を高い確率で出力することである。
論文参考訳（メタデータ） (2022-06-17T17:55:43Z)
On Fast Johnson-Lindernstrauss Embeddings of Compact Submanifolds of $\mathbb{R}^N$ with Boundary [0.4125187280299246]
mathbbRm × N$ のランダム行列 $A がバイリプシッツ函数 $A: MathcalM rightarrow mathbbRm$ とビリプシッツ定数が 1 に近い確率を考える。我々は、$mathbbRN$ の十分低次元部分多様体を埋め込むための、高度に構造化された分布の新しいクラスを示す。
論文参考訳（メタデータ） (2021-10-08T15:27:52Z)
Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
論文参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。