論文の概要: Expressivity of expand-and-sparsify representations

• arxiv url: http://arxiv.org/abs/2006.03741v1
• Date: Fri, 5 Jun 2020 23:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 02:42:39.640166
• Title: Expressivity of expand-and-sparsify representations
• Title（参考訳）: 拡大分離表現の表現性
• Authors: Sanjoy Dasgupta and Christopher Tosh
• Abstract要約: 単純なスパースコーディング機構は、いくつかの生物の感覚系に現れる。 z$は情報を$x$でアンパックし、アクセスしやすくする。 この表現が入力空間の多様体構造に適応するかどうかを考える。
• 参考スコア（独自算出の注目度）: 15.016047591601094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A simple sparse coding mechanism appears in the sensory systems of several organisms: to a coarse approximation, an input $x \in \R^d$ is mapped to much higher dimension $m \gg d$ by a random linear transformation, and is then sparsified by a winner-take-all process in which only the positions of the top $k$ values are retained, yielding a $k$-sparse vector $z \in \{0,1\}^m$. We study the benefits of this representation for subsequent learning. We first show a universal approximation property, that arbitrary continuous functions of $x$ are well approximated by linear functions of $z$, provided $m$ is large enough. This can be interpreted as saying that $z$ unpacks the information in $x$ and makes it more readily accessible. The linear functions can be specified explicitly and are easy to learn, and we give bounds on how large $m$ needs to be as a function of the input dimension $d$ and the smoothness of the target function. Next, we consider whether the representation is adaptive to manifold structure in the input space. This is highly dependent on the specific method of sparsification: we show that adaptivity is not obtained under the winner-take-all mechanism, but does hold under a slight variant. Finally we consider mappings to the representation space that are random but are attuned to the data distribution, and we give favorable approximation bounds in this setting.
• Abstract（参考訳）: 粗い近似に対して入力された$x \in \r^d$ は、ランダムな線形変換によってより高次元の $m \gg d$ にマッピングされ、上位の$k$ の位置のみが保持され、$k$-sparse ベクトル $z \in \{0,1\}^m$ となる。 この表現の利点をその後の学習のために研究する。 まず、$x$ の任意の連続函数が、$m$ が十分大きければ$z$ の線型函数によって十分に近似されるような普遍近似特性を示す。 これは、$z$が情報を$x$でアンパックし、より簡単にアクセスできるようにするという意味と解釈できる。 線形関数は明示的に指定することができ、学習しやすく、入力次元$d$の関数としてどれだけ大きな$m$が必要か、ターゲット関数の滑らかさについて境界を与える。 次に、この表現が入力空間の多様体構造に適応するかどうかを考える。 これはスペーシフィケーションの特定の方法に大きく依存している: 適応性は、すべての勝者のメカニズムの下では得られず、わずかに変種の下で保たれることを示す。 最後に、ランダムだがデータ分布に順応した表現空間への写像を検討し、この設定で好ましい近似境界を与える。

関連論文リスト

• Universality of max-margin classifiers [10.797131009370219]
  非ガウス的特徴に対する誤分類誤差の高次元普遍性と大域化写像の役割について検討する。 特に、オーバーパラメトリゼーションしきい値と一般化誤差はより単純なモデルで計算できる。
  論文  参考訳（メタデータ） (2023-09-29T22:45:56Z)
• Approximate Function Evaluation via Multi-Armed Bandits [51.146684847667125]
  既知の滑らかな関数 $f$ の値を未知の点 $boldsymbolmu in mathbbRn$ で推定する問題について検討する。 我々は、各座標の重要性に応じてサンプルを学習するインスタンス適応アルゴリズムを設計し、少なくとも1-delta$の確率で$epsilon$の正確な推定値である$f(boldsymbolmu)$を返す。
  論文  参考訳（メタデータ） (2022-03-18T18:50:52Z)
• TURF: A Two-factor, Universal, Robust, Fast Distribution Learning Algorithm [64.13217062232874]
  最も強力で成功したモダリティの1つは、全ての分布を$ell$距離に近似し、基本的に最も近い$t$-piece次数-$d_$の少なくとも1倍大きい。 本稿では,この数値をほぼ最適に推定する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-15T03:49:28Z)
• Random matrices in service of ML footprint: ternary random features with no performance loss [55.30329197651178]
  我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。 3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。 提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
  論文  参考訳（メタデータ） (2021-10-05T09:33:49Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Truncated Linear Regression in High Dimensions [26.41623833920794]
  truncated linear regression において、従属変数 $(A_i, y_i)_i$ は $y_i= A_irm T cdot x* + eta_i$ は固定された未知の興味ベクトルである。 目標は、$A_i$とノイズ分布に関するいくつかの好ましい条件の下で$x*$を回復することである。 我々は、$k$-sparse $n$-dimensional vectors $x*$ from $m$ truncated sample。
  論文  参考訳（メタデータ） (2020-07-29T00:31:34Z)
• Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
  エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。 代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
  論文  参考訳（メタデータ） (2020-06-12T10:21:40Z)
• On the Modularity of Hypernetworks [103.1147622394852]
  構造化対象関数の場合、ハイパーネットワークにおけるトレーニング可能なパラメータの総数は、標準ニューラルネットワークのトレーニング可能なパラメータの数や埋め込み法よりも桁違いに小さいことを示す。
  論文  参考訳（メタデータ） (2020-02-23T22:51:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。