論文の概要: Learning Polynomial Transformations

• arxiv url: http://arxiv.org/abs/2204.04209v1
• Date: Fri, 8 Apr 2022 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:44:42.938440
• Title: Learning Polynomial Transformations
• Title（参考訳）: 多項式変換の学習
• Authors: Sitan Chen, Jerry Li, Yuanzhi Li, Anru R. Zhang
• Abstract要約: ガウスの高次元二次変換を学習する問題を考察する。 我々の結果はガウス分布だけでなく、任意の不変な入力分布にまで拡張される。 また、テンソル環分解の証明可能な保証を持つ最初の分解時間アルゴリズムを与える。
• 参考スコア（独自算出の注目度）: 41.30404402331856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of learning high dimensional polynomial transformations of Gaussians. Given samples of the form $p(x)$, where $x\sim N(0, \mathrm{Id}_r)$ is hidden and $p: \mathbb{R}^r \to \mathbb{R}^d$ is a function where every output coordinate is a low-degree polynomial, the goal is to learn the distribution over $p(x)$. This problem is natural in its own right, but is also an important special case of learning deep generative models, namely pushforwards of Gaussians under two-layer neural networks with polynomial activations. Understanding the learnability of such generative models is crucial to understanding why they perform so well in practice. Our first main result is a polynomial-time algorithm for learning quadratic transformations of Gaussians in a smoothed setting. Our second main result is a polynomial-time algorithm for learning constant-degree polynomial transformations of Gaussian in a smoothed setting, when the rank of the associated tensors is small. In fact our results extend to any rotation-invariant input distribution, not just Gaussian. These are the first end-to-end guarantees for learning a pushforward under a neural network with more than one layer. Along the way, we also give the first polynomial-time algorithms with provable guarantees for tensor ring decomposition, a popular generalization of tensor decomposition that is used in practice to implicitly store large tensors.
• Abstract（参考訳）: ガウスの高次元多項式変換を学習する問題を考察する。 x\sim N(0, \mathrm{Id}_r)$ は隠され、$p: \mathbb{R}^r \to \mathbb{R}^d$ は全ての出力座標が低次多項式である函数であり、その目標は$p(x)$ 上の分布を学ぶことである。 この問題はそれ自体は自然だが、多項式活性化を持つ2層ニューラルネットワークの下でガウスのプッシュフォワード(pushforwards of gaussian)と呼ばれる深層生成モデルを学ぶ重要な特別なケースでもある。 このような生成モデルの学習可能性を理解することは、なぜそれが実際にうまく機能するのかを理解するために重要である。 最初の主な結果は、ガウスの二次変換を滑らかな設定で学習するための多項式時間アルゴリズムである。 第2の主な結果は、関連するテンソルのランクが小さいとき、ガウスの定数多項式変換を滑らかな設定で学習するための多項式時間アルゴリズムである。 実際、我々の結果はガウス分布だけでなく回転不変な入力分布にまで拡張される。 これらは、複数の層を持つニューラルネットワークの下でプッシュフォワードを学ぶための最初のエンドツーエンド保証である。 その過程では、テンソル環分解の証明可能な保証を持つ最初の多項式時間アルゴリズムも与え、これはテンソル環分解の一般的な一般化であり、実際には大きなテンソルを暗黙的に保存するために使われる。

関連論文リスト

• Learning Mixtures of Gaussians Using Diffusion Models [9.118706387430883]
  テレビエラーに対して$k$ Gaussiansの混合を学習するための新しいアルゴリズムを提案する。 我々のアプローチは解析的であり、拡散モデルの枠組みに依存している。
  論文  参考訳（メタデータ） (2024-04-29T17:00:20Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Learning Narrow One-Hidden-Layer ReLU Networks [30.63086568341548]
  最初のアルゴリズムは$k$が定数であるときに成功する。 我々は、十分に近接したニューロンを一緒に崩壊させることができると主張するために、マルチスケール分析を用いる。
  論文  参考訳（メタデータ） (2023-04-20T17:53:09Z)
• Average-Case Complexity of Tensor Decomposition for Low-Degree Polynomials [93.59919600451487]
  多くの統計的推論タスクにおいて「統計計算ギャップ」が発生する。 1つの成分が他の成分よりもわずかに大きいランダムオーダー3分解モデルを考える。 テンソルエントリは$ll n3/2$のとき最大成分を正確に推定できるが、$rgg n3/2$のとき失敗する。
  論文  参考訳（メタデータ） (2022-11-10T00:40:37Z)
• Efficient Algorithms for Learning Depth-2 Neural Networks with General ReLU Activations [27.244958998196623]
  一般のReLUアクティベーションを用いた未知の深度2フィードフォワードニューラルネットワークを学習するための時間とサンプル効率のアルゴリズムを提案する。 特に、f(x) = amathsfTsigma(WmathsfTx+b)$, ここで$x$はガウス分布から引き出され、$sigma(t) := max(t,0)$はReLU活性化である。
  論文  参考訳（メタデータ） (2021-07-21T17:06:03Z)
• Reconstruction Algorithms for Low-Rank Tensors and Depth-3 Multilinear Circuits [4.129484350382891]
  深さ$3$の算術回路のクラスに対して、新しい効率的なブラックボックス再構成アルゴリズムを提供する。 我々のアルゴリズムは、すべてのフィールド特性 0 以上の大きな特性に作用する。
  論文  参考訳（メタデータ） (2021-05-04T20:45:07Z)
• Small Covers for Near-Zero Sets of Polynomials and Learning Latent Variable Models [56.98280399449707]
  我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。 構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2020-12-14T18:14:08Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)
• Deep Polynomial Neural Networks [77.70761658507507]
  $Pi$Netsは拡張に基づいた関数近似の新しいクラスである。 $Pi$Netsは、画像生成、顔検証、および3Dメッシュ表現学習という3つの困難なタスクで、最先端の結果を生成する。
  論文  参考訳（メタデータ） (2020-06-20T16:23:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。