Fugu-MT 論文翻訳(概要): Exponential Separations in Symmetric Neural Networks

論文の概要: Exponential Separations in Symmetric Neural Networks

arxiv url: http://arxiv.org/abs/2206.01266v1
Date: Thu, 2 Jun 2022 19:45:10 GMT
ステータス: 処理完了
システム内更新日: 2022-06-07 06:59:20.093535
Title: Exponential Separations in Symmetric Neural Networks
Title（参考訳）: 対称ニューラルネットワークにおける指数分離
Authors: Aaron Zweig, Joan Bruna
Abstract要約: 我々は、対称なNetworkparencitesantoro 2017simple ArchitectureをDeepSetsparencitezaheerdeep Architectureの自然な一般化と見なしている。解析活性化関数の制限の下で、次元が$N$の集合に作用する対称函数を$D$で構成する。
参考スコア（独自算出の注目度）: 48.80300074254758
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work we demonstrate a novel separation between symmetric neural network architectures. Specifically, we consider the Relational Network~\parencite{santoro2017simple} architecture as a natural generalization of the DeepSets~\parencite{zaheer2017deep} architecture, and study their representational gap. Under the restriction to analytic activation functions, we construct a symmetric function acting on sets of size $N$ with elements in dimension $D$, which can be efficiently approximated by the former architecture, but provably requires width exponential in $N$ and $D$ for the latter.
Abstract（参考訳）: 本稿では,対称ニューラルネットワークアーキテクチャの新たな分離について述べる。具体的には、リレーショナル・ネットワーク~\parencite{santoro2017simple}アーキテクチャをdeepsets~\parencite{zaheer2017deep}アーキテクチャの自然な一般化と考え、それらの表現的ギャップを考察する。解析的アクティベーション関数の制限の下では、次元$D$の要素を持つ大きさの集合に作用する対称関数を構築し、これは以前のアーキテクチャによって効率的に近似できるが、後者では$N$と$D$の幅指数を必要とする。

関連論文リスト

Functional SDE approximation inspired by a deep operator network architecture [0.0]
ディープニューラルネットワークによる微分方程式(SDE)の近似解の導出と解析を行う。このアーキテクチャはDeep Operator Networks(DeepONets)の概念にインスパイアされたもので、ネットワークに表される基盤の削減という観点からの演算子学習に基づいている。提案したSDEONetアーキテクチャは,Wienerカオス拡張の最適スパース切り込みを学習することにより,指数複雑性の問題を緩和することを目的としている。
論文参考訳（メタデータ） (2024-02-05T14:12:35Z)
Neural approximation of Wasserstein distance via a universal architecture for symmetric and factorwise group invariant functions [6.994580267603235]
まず,SFGI関数を近似する汎用ニューラルネットワークアーキテクチャを提案する。本論文の主な貢献は、この一般的なニューラルネットワークとスケッチのアイデアを組み合わせて、特定かつ効率的なニューラルネットワークを開発することである。我々の研究は、対称関数の普遍近似を伴う幾何学的問題に対するスケッチのアイデアの興味深い統合を提供する。
論文参考訳（メタデータ） (2023-08-01T04:11:19Z)
Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
論文参考訳（メタデータ） (2023-07-08T16:00:59Z)
Neural Eigenfunctions Are Structured Representation Learners [93.53445940137618]
本稿ではニューラル固有写像という,構造化された適応長の深部表現を提案する。本稿では,データ拡張設定における正の関係から固有関数が導出される場合,NeuralEFを適用することで目的関数が得られることを示す。画像検索システムにおいて,適応長符号のような表現を用いることを実証する。
論文参考訳（メタデータ） (2022-10-23T07:17:55Z)
Neural Network Architecture Beyond Width and Depth [4.468952886990851]
本稿では,幅と深さを超えた高さという付加次元を導入することで,新しいニューラルネットワークアーキテクチャを提案する。三次元構造を持つニューラルネットワークは、二次元構造を持つニューラルネットワークよりもはるかに表現力が高いことが示されている。
論文参考訳（メタデータ） (2022-05-19T10:29:11Z)
The Role of Linear Layers in Nonlinear Interpolating Networks [13.25706838589123]
我々のフレームワークは、すべて同じキャパシティを持つが、暗黙的に定義された表現コストを持つ、様々な深さのネットワークのファミリーを考察する。ニューラルネットワークアーキテクチャによって誘導される関数の表現コストは、関数を表現するためにネットワークに必要な2乗重みの最小和である。この結果から,ReLUネットワークに線形層を追加することで,ReLUユニットのアライメントとスパシティの複雑な相互作用を反映した表現コストが得られることがわかった。
論文参考訳（メタデータ） (2022-02-02T02:33:24Z)
Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文参考訳（メタデータ） (2021-10-28T14:59:41Z)
Theory of Deep Convolutional Neural Networks III: Approximating Radial Functions [7.943024117353317]
我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
論文参考訳（メタデータ） (2021-07-02T08:22:12Z)
Deep neural network approximation of analytic functions [91.3755431537592]
ニューラルネットワークの空間にエントロピーバウンド片方向の線形活性化関数を持つ我々は、ペナル化深部ニューラルネットワーク推定器の予測誤差に対するオラクルの不等式を導出する。
論文参考訳（メタデータ） (2021-04-05T18:02:04Z)
A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
論文参考訳（メタデータ） (2020-08-06T09:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。