論文の概要: Eluder Dimension and Generalized Rank

• arxiv url: http://arxiv.org/abs/2104.06970v1
• Date: Wed, 14 Apr 2021 16:53:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 13:32:32.614773
• Title: Eluder Dimension and Generalized Rank
• Title（参考訳）: Eluder Dimension と Generalized Rank
• Authors: Gene Li, Pritish Kamath, Dylan J. Foster, Nathan Srebro
• Abstract要約: eluder次元は$sigma$-rankよりも指数関数的に大きいことが分かる。 sigma$ が $mathrmrelu$ の活性化であるとき、 eluder 次元は $sigma$-rank よりも指数関数的に大きいことが示される。
• 参考スコア（独自算出の注目度）: 48.27338656415236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the relationship between the eluder dimension for a function class and a generalized notion of rank, defined for any monotone "activation" $\sigma : \mathbb{R} \to \mathbb{R}$, which corresponds to the minimal dimension required to represent the class as a generalized linear model. When $\sigma$ has derivatives bounded away from $0$, it is known that $\sigma$-rank gives rise to an upper bound on eluder dimension for any function class; we show however that eluder dimension can be exponentially smaller than $\sigma$-rank. We also show that the condition on the derivative is necessary; namely, when $\sigma$ is the $\mathrm{relu}$ activation, we show that eluder dimension can be exponentially larger than $\sigma$-rank.
• Abstract（参考訳）: 汎線型モデルとしてクラスを表現するのに必要な最小次元に対応する任意の単調 "アクティベーション" $\sigma : \mathbb{r} \to \mathbb{r}$ に対して定義される関数クラスのエルダー次元とランクの一般化された概念との関係について検討する。 $\sigma$-rank が 0$ から有界な微分を持つとき、$\sigma$-rank は任意の函数類において、任意のユーラダー次元上の上限となることが知られているが、しかしながら、ユーラダー次元は $\sigma$-rank よりも指数関数的に小さいことが示される。 すなわち、$\sigma$ が $\mathrm{relu}$ 活性化であるとき、可溶性次元が $\sigma$-rank よりも指数関数的に大きいことを示す。

関連論文リスト

• Renormalization group for Anderson localization on high-dimensional lattices [0.0]
  遷移点を含む非局在領域において、フラクタル次元の$D_1$関数が滑らかに進化することを示す。 我々はフラクタル次元の低い境界についての予想を提出した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:35Z)
• Dimension-free Remez Inequalities and norm designs [48.5897526636987]
  ドメインのクラスが$X$で、テストセットが$Y$で、Emphnormと呼ばれ、次元のないRemez型の見積もりを楽しむ。 ポリトーラスに$f$が拡張されたとき、$f$の上限は$mathcalO(log K)2d$以上増加しないことを示す。
  論文  参考訳（メタデータ） (2023-10-11T22:46:09Z)
• Universality of max-margin classifiers [10.797131009370219]
  非ガウス的特徴に対する誤分類誤差の高次元普遍性と大域化写像の役割について検討する。 特に、オーバーパラメトリゼーションしきい値と一般化誤差はより単純なモデルで計算できる。
  論文  参考訳（メタデータ） (2023-09-29T22:45:56Z)
• A Unified Framework for Uniform Signal Recovery in Nonlinear Generative Compressed Sensing [68.80803866919123]
  非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。 本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。 また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
  論文  参考訳（メタデータ） (2023-09-25T17:54:19Z)
• Higher rank antipodality [0.0]
  一般確率論に動機づけられて、集合 $X$ in $mathbbRd$ はランク $k$ のエンファンティポッドであると言う。 k=1$ の場合、Klee が導入した(ペアワイズで)反ポッド性の概念と一致する。
  論文  参考訳（メタデータ） (2023-07-31T17:15:46Z)
• Effective Minkowski Dimension of Deep Nonparametric Regression: Function Approximation and Statistical Theories [70.90012822736988]
  ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。 本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
  論文  参考訳（メタデータ） (2023-06-26T17:13:31Z)
• Bottleneck Structure in Learned Features: Low-Dimension vs Regularity Tradeoff [12.351756386062291]
  低次元表現の学習と特徴写像の複雑性/不規則性の最小化のバランスを定式化する。 大深度の場合、ほとんどすべての隠れ表現はおよそ$R(0)(f)$次元であり、ほとんど全ての重み行列は$W_ell$が$R(0)(f)$特異値である。 興味深いことに、大きな学習率の使用は、ほぼすべての層の表現の無限深度収束を保証する注文$O(L)$ NTKを保証するために要求される。
  論文  参考訳（メタデータ） (2023-05-30T13:06:26Z)
• On minimal representations of shallow ReLU networks [0.0]
  f$の最小表現は$n$、$n+1$または$n+2$のどちらかを使用する。 特に入力層が一次元の場合、最小表現は常に少なくとも$n+1$のニューロンで使用されるが、高次元設定では$n+2$のニューロンを必要とする関数が存在する。
  論文  参考訳（メタデータ） (2021-08-12T10:22:24Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)
• Agnostic Learning of a Single Neuron with Gradient Descent [92.7662890047311]
  期待される正方形損失から、最も適合した単一ニューロンを学習することの問題点を考察する。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。 ReLUアクティベーションでは、我々の人口リスク保証は$O(mathsfOPT1/2)+epsilon$である。
  論文  参考訳（メタデータ） (2020-05-29T07:20:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。