論文の概要: Estimate of the Neural Network Dimension using Algebraic Topology and Lie Theory

• arxiv url: http://arxiv.org/abs/2004.02881v12
• Date: Mon, 16 Nov 2020 09:14:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 05:16:59.986078
• Title: Estimate of the Neural Network Dimension using Algebraic Topology and Lie Theory
• Title（参考訳）: 代数的トポロジーとリー理論を用いたニューラルネットワーク次元の推定
• Authors: Luciano Melodia, Richard Lenz
• Abstract要約: 本稿では,ニューラルネットワークの層内のニューロンの最小数を決定する手法を提案する。 必要な次元を正確に指定し、データが位置するあるいはその近傍に滑らかな多様体が存在することを仮定する。 我々はこの理論を導出し、おもちゃのデータセットで実験的に検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper we present an approach to determine the smallest possible number of neurons in a layer of a neural network in such a way that the topology of the input space can be learned sufficiently well. We introduce a general procedure based on persistent homology to investigate topological invariants of the manifold on which we suspect the data set. We specify the required dimensions precisely, assuming that there is a smooth manifold on or near which the data are located. Furthermore, we require that this space is connected and has a commutative group structure in the mathematical sense. These assumptions allow us to derive a decomposition of the underlying space whose topology is well known. We use the representatives of the $k$-dimensional homology groups from the persistence landscape to determine an integer dimension for this decomposition. This number is the dimension of the embedding that is capable of capturing the topology of the data manifold. We derive the theory and validate it experimentally on toy data sets.
• Abstract（参考訳）: 本稿では,入力空間のトポロジーを十分に学習できるように,ニューラルネットワークの層において最小のニューロン数を決定する手法を提案する。 本稿では,データ集合を疑う多様体の位相不変量を調べるために,永続ホモロジーに基づく一般手順を導入する。 必要な次元を正確に指定し、データが位置するあるいは近傍に滑らかな多様体が存在することを仮定する。 さらに、この空間は連結であり、数学的意味において可換群構造を持つことを要求する。 これらの仮定は、位相がよく知られている基底空間の分解を導出することができる。 我々は、この分解の整数次元を決定するために永続的ランドスケープから、$k$-dimensionalホモロジー群の代表を用いる。 この数は、データ多様体の位相を捉えることができる埋め込みの次元である。 理論を導出し、おもちゃのデータセットで実験的に検証する。

関連論文リスト

• A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
  実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:10:24Z)
• A rank decomposition for the topological classification of neural representations [0.0]
  この研究では、ニューラルネットワークが連続的なピースワイズアフィンマップと等価であるという事実を活用している。 多様体 $mathcalM$ と部分集合 $A$ の商のホモロジー群を研究し、これらの空間上のいくつかの極小性質を仮定する。 ランダムに狭いネットワークでは、データ多様体の(コ)ホモロジー群が変化する領域が存在することを示す。
  論文  参考訳（メタデータ） (2024-04-30T17:01:20Z)
• A Heat Diffusion Perspective on Geodesic Preserving Dimensionality Reduction [66.21060114843202]
  熱測地線埋め込みと呼ばれるより一般的な熱カーネルベースの多様体埋め込み法を提案する。 その結果,本手法は,地中真理多様体距離の保存において,既存の技術よりも優れていることがわかった。 また,連続体とクラスタ構造を併用した単一セルRNAシークエンシングデータセットに本手法を適用した。
  論文  参考訳（メタデータ） (2023-05-30T13:58:50Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• Side-effects of Learning from Low Dimensional Data Embedded in an Euclidean Space [3.093890460224435]
  データ多様体の必要次元におけるネットワークの深さとノイズに関連する潜在的な正則化効果について検討する。 また,騒音によるトレーニングの副作用も提示した。
  論文  参考訳（メタデータ） (2022-03-01T16:55:51Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• The decomposition of the higher-order homology embedding constructed from the $k$-Laplacian [5.076419064097734]
  k$-階ラプラシアン $mathbfmathcal L_k$ の零空間は、多様体やネットワークの非自明な位相を符号化する。 多様体の最も単純な位相成分に対応する部分空間に埋め込まれたホモロジーを分解するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-07-23T00:40:01Z)
• Intrinsic Dimension Estimation [92.87600241234344]
  内在次元の新しい推定器を導入し, 有限標本, 非漸近保証を提供する。 次に、本手法を適用して、データ固有の次元に依存するGAN(Generative Adversarial Networks)に対する新しいサンプル複雑性境界を求める。
  論文  参考訳（メタデータ） (2021-06-08T00:05:39Z)
• Manifold Density Estimation via Generalized Dequantization [9.090451761951101]
  ある種のデータは、その基礎となる幾何学がユークリッドであると仮定してよくモデル化されていない。 例えば、ある種のデータは球面上に存在することが知られているかもしれない。 そこで我々は,周辺ユークリッド空間の座標変換を通じて解釈する「量子化」に関する文献に触発された手法を提案する。
  論文  参考訳（メタデータ） (2021-02-14T12:40:41Z)
• Disentangling by Subspace Diffusion [72.1895236605335]
  データ多様体の完全教師なし分解は、多様体の真の計量が知られている場合、可能であることを示す。 我々の研究は、教師なしメートル法学習が可能であるかどうかという問題を減らし、表現学習の幾何学的性質に関する統一的な洞察を提供する。
  論文  参考訳（メタデータ） (2020-06-23T13:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。