論文の概要: Capacity Bounds for Hyperbolic Neural Network Representations of Latent Tree Structures

• arxiv url: http://arxiv.org/abs/2308.09250v1
• Date: Fri, 18 Aug 2023 02:24:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 14:55:33.402960
• Title: Capacity Bounds for Hyperbolic Neural Network Representations of Latent Tree Structures
• Title（参考訳）: 潜在木構造の双曲型ニューラルネットワーク表現における容量境界
• Authors: Anastasis Kratsios, Ruiyang Hong, Haitz S\'aez de Oc\'ariz Borde
• Abstract要約: 本稿では,ReLUアクティベーション機能を持つHNN(Deep Hyperbolic Neural Network)の表現能力について検討する。 HNN が任意の有限重み付き木を少なくとも 2$ に等しい次元の双曲空間に埋め込むことができるという最初の証明を確立する。 グラフ表現を実装するHNNのネットワーク複雑性は,表現の忠実さ/歪みとは無関係であることがわかった。
• 参考スコア（独自算出の注目度）: 8.28720658988688
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the representation capacity of deep hyperbolic neural networks (HNNs) with a ReLU activation function. We establish the first proof that HNNs can $\varepsilon$-isometrically embed any finite weighted tree into a hyperbolic space of dimension $d$ at least equal to $2$ with prescribed sectional curvature $\kappa<0$, for any $\varepsilon> 1$ (where $\varepsilon=1$ being optimal). We establish rigorous upper bounds for the network complexity on an HNN implementing the embedding. We find that the network complexity of HNN implementing the graph representation is independent of the representation fidelity/distortion. We contrast this result against our lower bounds on distortion which any ReLU multi-layer perceptron (MLP) must exert when embedding a tree with $L>2^d$ leaves into a $d$-dimensional Euclidean space, which we show at least $\Omega(L^{1/d})$; independently of the depth, width, and (possibly discontinuous) activation function defining the MLP.
• Abstract（参考訳）: 本稿では,ReLUアクティベーション機能を持つHNN(Deep Hyperbolic Neural Network)の表現能力について検討する。 hnn が任意の有限重み付き木を次元の双曲空間に$\varepsilon$-isometric的に埋め込むことができるという最初の証明を定め、任意の $\varepsilon> 1$ ($\varepsilon=1$ が最適である) に対して、所定の断面曲率 $\kappa<0$ で少なくとも$$$ と等しい。 組込みを実装するhnn上で,ネットワーク複雑性の厳密な上限を確立する。 グラフ表現を実装するHNNのネットワーク複雑性は,表現の忠実さ/歪みとは無関係である。 この結果は、任意のReLU多層パーセプトロン(MLP)が$L>2^d$の木の葉を$d$次元ユークリッド空間に埋め込み、少なくとも$\Omega(L^{1/d})$; MLPを定義する深さ、幅、(おそらく不連続な)アクティベーション関数に独立して示すときの歪みに対する下界と対比する。

関連論文リスト

• Deep Neural Networks: Multi-Classification and Universal Approximation [0.0]
  我々は,幅2ドル,深さ2N+4M-1$のReLUディープニューラルネットワークが,$N$要素からなる任意のデータセットに対して有限標本記憶を達成できることを実証した。 また、$W1,p$関数を近似するための深さ推定と$Lp(Omega;mathbbRm)$ for $mgeq1$を近似するための幅推定も提供する。
  論文  参考訳（メタデータ） (2024-09-10T14:31:21Z)
• Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
  本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。 幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-04T11:34:42Z)
• Hamiltonian Mechanics of Feature Learning: Bottleneck Structure in Leaky ResNets [58.460298576330835]
  我々は、ResNets(tildeLtoinfty$)とFully-Connected nets(tildeLtoinfty$)の間を補間するLeaky ResNetsを研究する。 無限深度極限において、'representation geodesics'の$A_p$:continuous paths in representation space(NeuralODEsに類似)を研究する。 この直感を利用して、以前の研究で見られるように、ボトルネック構造の出現を説明する。
  論文  参考訳（メタデータ） (2024-05-27T18:15:05Z)
• Sample Complexity of Neural Policy Mirror Descent for Policy Optimization on Low-Dimensional Manifolds [75.51968172401394]
  深部畳み込みニューラルネットワーク(CNN)を用いたNPMDアルゴリズムのサンプル複雑性について検討した。 NPMDの各イテレーションでは、値関数とポリシーの両方をCNNによってうまく近似することができる。 NPMDは状態空間の低次元構造を利用して次元の呪いから逃れることができることを示す。
  論文  参考訳（メタデータ） (2023-09-25T07:31:22Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• Extending the Design Space of Graph Neural Networks by Rethinking Folklore Weisfeiler-Lehman [66.23316415757456]
  近年、グラフニューラルネットワーク(GNN)の最も人気のあるフレームワークとして、メッセージパッシングニューラルネットワーク(MPNN)が登場している。 しかし、その表現力は1次元のWeisfeiler-Lehman (1-WL) テストによって制限される。 我々は、任意の同変集合をすべてのノードの代わりに隣人と考える拡張、$(k,t)$-FWLを提案する。 N$2-GNN は ZINC-Subset (0.059) で記録破りの結果を達成し、以前の SOTA の成績を 10.6% 上回った。
  論文  参考訳（メタデータ） (2023-06-05T21:35:32Z)
• Neural Networks Efficiently Learn Low-Dimensional Representations with SGD [22.703825902761405]
  SGDで訓練されたReLU NNは、主方向を回復することで、$y=f(langleboldsymbolu,boldsymbolxrangle) + epsilon$という形の単一インデックスターゲットを学習できることを示す。 また、SGDによる近似低ランク構造を用いて、NNに対して圧縮保証を提供する。
  論文  参考訳（メタデータ） (2022-09-29T15:29:10Z)
• Understanding Deep Neural Function Approximation in Reinforcement Learning via $\epsilon$-Greedy Exploration [53.90873926758026]
  本稿では、強化学習(RL)における深部神経機能近似の理論的研究について述べる。 我々は、Besov(およびBarron)関数空間によって与えられるディープ(および2層)ニューラルネットワークによる$epsilon$-greedy探索により、バリューベースのアルゴリズムに焦点を当てる。 我々の解析は、ある平均測度$mu$の上の$L2(mathrmdmu)$-integrable空間における時間差誤差を再構成し、非イド設定の下で一般化問題に変換する。
  論文  参考訳（メタデータ） (2022-09-15T15:42:47Z)
• Approximating smooth functions by deep neural networks with sigmoid activation function [0.0]
  我々は,シグモイド活性化機能を持つディープニューラルネットワーク(DNN)のパワーについて検討した。 固定深度と幅が$Md$で近似レートが$M-2p$であることを示す。
  論文  参考訳（メタデータ） (2020-10-08T07:29:31Z)
• A deep network construction that adapts to intrinsic dimensionality beyond the domain [79.23797234241471]
  本稿では,ReLUを活性化したディープネットワークを用いて,2層合成の近似を$f(x) = g(phi(x))$で検討する。 例えば、低次元埋め込み部分多様体への射影と、低次元集合の集合への距離である。
  論文  参考訳（メタデータ） (2020-08-06T09:50:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。