論文の概要: Embedding Dimension Lower Bounds for Universality of Deep Sets and Janossy Pooling
- arxiv url: http://arxiv.org/abs/2605.08377v1
- Date: Fri, 08 May 2026 18:34:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:49.596606
- Title: Embedding Dimension Lower Bounds for Universality of Deep Sets and Janossy Pooling
- Title（参考訳）: 深部集合の普遍性とジャノシープールのための埋め込み次元下界
- Authors: Ali Syed, Aditya Nambiar, Jonathan W. Siegel,
- Abstract要約: 本稿では,一般的なDeep Setsアーキテクチャを一般化したJanossyプールの普遍性について検討する。
我々は、この埋め込み次元の必要なサイズについて、新しい下界を証明した。
k$-ary Janossy プールの場合、$k > 1$ のとき、必要な埋め込み次元に対する最初の非自明な下界を証明する。
- 参考スコア（独自算出の注目度）: 8.7045093817125
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many practical applications it is important to build symmetries into neural network architectures. Consider the important case of permutation symmetry on point clouds consisting of $n$ points in $d$ dimensions. In this case the network learns a function on a set of $n$ points in $\mathbb{R}^d$, and a natural paradigm for constructing invariant networks is Janossy pooling, which generalizes the popular Deep Sets architecture. We study the universality of this approach, in particular the important question of how large the embedding dimension must be to guarantee universality of this architecture. Specifically, using a novel technique, we prove new lower bounds on the required size of this embedding dimension. For Deep Sets, this gives the correct minimal dimension up to a constant factor for all $d > 1$. For $k$-ary Janossy pooling, we prove the first non-trivial lower bound on the required embedding dimension when $k > 1$.
- Abstract（参考訳）: 多くの実践的応用において、ニューラルネットワークアーキテクチャに対称性を構築することが重要である。
点雲上の置換対称性が$d$次元の$n$点からなる重要な場合を考える。
この場合、ネットワークは$\mathbb{R}^d$の$n$点の集合上の関数を学習し、不変ネットワークを構成する自然なパラダイムは、人気のあるDeep Setsアーキテクチャを一般化するJanossy poolingである。
このアプローチの普遍性、特に、このアーキテクチャの普遍性を保証するために、埋め込み次元がどの程度大きいかという重要な問題について研究する。
具体的には、新しい手法を用いて、この埋め込み次元の必要なサイズについて、新しい下限を証明した。
ディープ集合の場合、これはすべての$d > 1$に対して、正しい最小次元を定数係数まで与える。
k$-ary Janossy プールの場合、$k > 1$ のとき、必要な埋め込み次元に対する最初の非自明な下界を証明する。
関連論文リスト
- Geometric Layer-wise Approximation Rates for Deep Networks [13.496991650323038]
我々は,精密なスケール依存解釈を実現する枠組みを開発する。
我々のネットワーク設計は、深度が進歩的な改善メカニズムとして機能するマルチグレードのディープラーニングにインスパイアされている。
論文 参考訳（メタデータ） (2026-04-22T06:09:20Z) - New advances in universal approximation with neural networks of minimal width [4.424170214926035]
リークReLUアクティベーションを持つオートエンコーダは$Lp$関数の普遍近似器であることを示す。
我々は,滑らかな可逆ニューラルネットワークが$Lp(mathbbRd,mathbbRd)$をコンパクト化できることを示す。
論文 参考訳（メタデータ） (2024-11-13T16:17:16Z) - Polynomial Width is Sufficient for Set Representation with
High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。
a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文 参考訳（メタデータ） (2023-07-08T16:00:59Z) - Exponential Separations in Symmetric Neural Networks [48.80300074254758]
我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。
解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
論文 参考訳（メタデータ） (2022-06-02T19:45:10Z) - Geometry of the Loss Landscape in Overparameterized Neural Networks:
Symmetries and Invariances [9.390008801320024]
それぞれに1つの余分なニューロンを加えると、以前の離散ミニマを1つの多様体に接続するのに十分であることを示す。
対称性によって誘導される臨界部分空間の数が、大域ミニマ多様体を構成するアフィン部分空間の数を支配していることを示す。
論文 参考訳（メタデータ） (2021-05-25T21:19:07Z) - A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。
我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
論文 参考訳（メタデータ） (2021-01-18T15:40:27Z) - A deep network construction that adapts to intrinsic dimensionality
beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。
例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文 参考訳（メタデータ） (2020-08-06T09:50:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。