論文の概要: Polynomial Width is Sufficient for Set Representation with
High-dimensional Features
- arxiv url: http://arxiv.org/abs/2307.04001v3
- Date: Thu, 7 Mar 2024 05:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 18:21:38.297731
- Title: Polynomial Width is Sufficient for Set Representation with
High-dimensional Features
- Title（参考訳）: 高次元特徴を持つ集合表現に適した多項式幅
- Authors: Peihao Wang, Shenghao Yang, Shu Li, Zhangyang Wang, Pan Li
- Abstract要約: DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
- 参考スコア（独自算出の注目度）: 69.65698500919869
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Set representation has become ubiquitous in deep learning for modeling the
inductive bias of neural networks that are insensitive to the input order.
DeepSets is the most widely used neural network architecture for set
representation. It involves embedding each set element into a latent space with
dimension $L$, followed by a sum pooling to obtain a whole-set embedding, and
finally mapping the whole-set embedding to the output. In this work, we
investigate the impact of the dimension $L$ on the expressive power of
DeepSets. Previous analyses either oversimplified high-dimensional features to
be one-dimensional features or were limited to analytic activations, thereby
diverging from practical use or resulting in $L$ that grows exponentially with
the set size $N$ and feature dimension $D$. To investigate the minimal value of
$L$ that achieves sufficient expressive power, we present two set-element
embedding layers: (a) linear + power activation (LP) and (b) linear +
exponential activations (LE). We demonstrate that $L$ being poly$(N, D)$ is
sufficient for set representation using both embedding layers. We also provide
a lower bound of $L$ for the LP embedding layer. Furthermore, we extend our
results to permutation-equivariant set functions and the complex field.
- Abstract（参考訳）: 入力順序に敏感なニューラルネットワークの帰納的バイアスをモデル化するために、ディープラーニングでは集合表現がユビキタスになってきた。
deepsetsは、最も広く使われているニューラルネットワークアーキテクチャである。
各集合要素を次元$L$で潜在空間に埋め込み、次に総集合埋め込みを得るために総和プーリングを行い、最終的に全体集合埋め込みを出力にマッピングする。
本研究では,次元$L$がDeepSetsの表現力に与える影響について検討する。
以前の分析では、1次元の特徴として過度に単純化された高次元特徴や、分析的アクティベーションに制限されていたため、実用的利用から逸脱するか、設定サイズ$N$と特徴次元$D$で指数関数的に成長する$L$が得られた。
十分な表現力を達成する$l$の最小値を調べるために、2つの集合要素埋め込み層を示す。
(a)線形+電力活性化(lp)及び
(b)線形+指数的活性化(LE)
L$がpoly$(N, D)$であることは、両方の埋め込み層を用いた集合表現に十分であることを示す。
また、LP埋め込み層に対して$L$の低いバウンダリも提供します。
さらに、この結果を置換同変集合関数と複素体に拡張する。
関連論文リスト
- New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。
無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。
この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
論文 参考訳（メタデータ） (2024-05-27T18:15:05Z) - Universal Representation of Permutation-Invariant Functions on Vectors
and Tensors [11.345796608258434]
我々の研究の主な対象は、様々な大きさの入力に対する多元関数、すなわち置換不変関数である。
citezaheer 2017deepによって提案されたDeep Setsは、和分解可能なモデルを通じてスカラー上の連続的多重集合関数の指数表現を提供する。
普遍表現は連続かつ不連続な多重集合函数に対して保証されるが、潜在空間次元は$O(ND)$である。
論文 参考訳（メタデータ） (2023-10-20T22:00:59Z) - Capacity Bounds for Hyperbolic Neural Network Representations of Latent
Tree Structures [8.28720658988688]
本稿では,ReLUアクティベーション機能を持つHNN(Deep Hyperbolic Neural Network)の表現能力について検討する。
HNN が任意の有限重み付き木を少なくとも 2$ に等しい次元の双曲空間に埋め込むことができるという最初の証明を確立する。
グラフ表現を実装するHNNのネットワーク複雑性は,表現の忠実さ/歪みとは無関係であることがわかった。
論文 参考訳（メタデータ） (2023-08-18T02:24:32Z) - Bottleneck Structure in Learned Features: Low-Dimension vs Regularity Tradeoff [12.351756386062291]
低次元表現の学習と特徴写像の複雑性/不規則性の最小化のバランスを定式化する。
大深度の場合、ほとんどすべての隠れ表現はおよそ$R(0)(f)$次元であり、ほとんど全ての重み行列は$W_ell$が$R(0)(f)$特異値である。
興味深いことに、大きな学習率の使用は、ほぼすべての層の表現の無限深度収束を保証する注文$O(L)$ NTKを保証するために要求される。
論文 参考訳（メタデータ） (2023-05-30T13:06:26Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳（メタデータ） (2022-06-02T19:45:10Z) - The Power of Subsampling in Submodular Maximization [51.629656762796564]
このアプローチは,既存の手法よりもはるかに単純であるにもかかわらず,最適/最先端の結果をもたらすことを示す。
我々は,映像要約,位置情報要約,映画推薦タスクにおけるアルゴリズムの有効性を実証的に示す。
論文 参考訳（メタデータ） (2021-04-06T20:25:57Z) - Size and Depth Separation in Approximating Natural Functions with Neural
Networks [52.73592689730044]
本稿では,ReLUネットワークを用いた自然関数の近似におけるサイズと深さの利点を示す。
我々は、そのような結果が$O(d)$を超えることを証明するための複雑性理論上の障壁を示す。
また、サイズ$O(d)$のネットワークで近似できる明示的な自然関数も示している。
論文 参考訳（メタデータ） (2021-01-30T21:30:11Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。