論文の概要: A Theoretical Study of Neural Network Expressive Power via Manifold Topology

• arxiv url: http://arxiv.org/abs/2410.16542v2
• Date: Tue, 29 Oct 2024 00:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 20:19:41.409190
• Title: A Theoretical Study of Neural Network Expressive Power via Manifold Topology
• Title（参考訳）: マニフォールドトポロジーによるニューラルネットワーク表現力の理論的研究
• Authors: Jiachen Yao, Mayank Goswami, Chao Chen,
• Abstract要約: 実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
• 参考スコア（独自算出の注目度）: 9.054396245059555
• License:
• Abstract: A prevalent assumption regarding real-world data is that it lies on or close to a low-dimensional manifold. When deploying a neural network on data manifolds, the required size, i.e., the number of neurons of the network, heavily depends on the intricacy of the underlying latent manifold. While significant advancements have been made in understanding the geometric attributes of manifolds, it's essential to recognize that topology, too, is a fundamental characteristic of manifolds. In this study, we investigate network expressive power in terms of the latent data manifold. Integrating both topological and geometric facets of the data manifold, we present a size upper bound of ReLU neural networks.
• Abstract（参考訳）: 実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 データ多様体上にニューラルネットワークをデプロイする場合、ネットワークのニューロンの数、すなわち必要なサイズは、基礎となる潜在多様体の複雑さに大きく依存する。 多様体の幾何学的属性を理解するために重要な進歩がなされてきたが、トポロジーも多様体の基本的な性質であることを認識することが不可欠である。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 データ多様体の位相的面と幾何学的面の両方を統合することで、ReLUニューラルネットワークのサイズ上限を提示する。

関連論文リスト

• Exploring the Manifold of Neural Networks Using Diffusion Geometry [7.038126249994092]
  ニューラルネットワークの隠蔽層表現間の距離を導入することにより,データポイントがニューラルネットワークである多様体を学習する。 これらの距離は非線形次元減少アルゴリズムPHATEに供給され、ニューラルネットワークの多様体を生成する。 解析の結果,高い性能のネットワークが一貫した埋め込みパターンを表示できることがわかった。
  論文  参考訳（メタデータ） (2024-11-19T16:34:45Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Deep neural networks architectures from the perspective of manifold learning [0.0]
  本稿では,ゲノメトリとトポロジの観点から,ニューラルネットワークアーキテクチャの包括的比較と記述を行う。 我々は、ニューラルネットワークの内部表現と、異なる層上のデータ多様体のトポロジーと幾何学の変化のダイナミクスに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-06T04:57:39Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• A Convergence Rate for Manifold Neural Networks [6.428026202398116]
  ラプラスベルトラミ作用素のスペクトル分解を用いた多様体ニューラルネットワークの構成法を提案する。 この結果に基づいて、多様体の内在次元に依存する収束率を確立する。 また,ネットワークの深さと各層で使用されるフィルタ数に依存する収束率についても論じる。
  論文  参考訳（メタデータ） (2022-12-23T22:44:25Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。