論文の概要: Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry

• arxiv url: http://arxiv.org/abs/2109.01461v1
• Date: Fri, 3 Sep 2021 11:45:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 13:48:53.113087
• Title: Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry
• Title（参考訳）: 層へのダイブ:代数幾何学を用いたニューラルネットワーク容量境界
• Authors: Ji Yang and Lu Sang and Daniel Cremers
• Abstract要約: ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
• 参考スコア（独自算出の注目度）: 55.57953219617467
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The empirical results suggest that the learnability of a neural network is directly related to its size. To mathematically prove this, we borrow a tool in topological algebra: Betti numbers to measure the topological geometric complexity of input data and the neural network. By characterizing the expressive capacity of a neural network with its topological complexity, we conduct a thorough analysis and show that the network's expressive capacity is limited by the scale of its layers. Further, we derive the upper bounds of the Betti numbers on each layer within the network. As a result, the problem of architecture selection of a neural network is transformed to determining the scale of the network that can represent the input data complexity. With the presented results, the architecture selection of a fully connected network boils down to choosing a suitable size of the network such that it equips the Betti numbers that are not smaller than the Betti numbers of the input data. We perform the experiments on a real-world dataset MNIST and the results verify our analysis and conclusion. The code will be publicly available.
• Abstract（参考訳）: 実験結果から,ニューラルネットワークの学習性はそのサイズと直接関係があることが示唆された。 これを数学的に証明するために、入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数というトポロジカル代数のツールを借りる。 ニューラルネットワークの表現能力とその位相的複雑性を特徴付けることにより,ネットワークの表現能力は,その層の大きさによって制限されることを示す。 さらに,ネットワーク内の各層上のベッチ数の上限を導出する。 その結果、ニューラルネットワークのアーキテクチャ選択の問題は、入力データの複雑さを表現できるネットワークの規模を決定するように変換される。 提案した結果により、完全に接続されたネットワークのアーキテクチャ選択は、入力データのベッチ数よりも小さくないベッチ数を装備するように、ネットワークの適切なサイズを選択するために沸騰する。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。 コードは公開される予定だ。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Graph Metanetworks for Processing Diverse Neural Architectures [33.686728709734105]
  Graph Metanetworks(GMN)は、競合するメソッドが苦労するニューラルネットワークに一般化する。 GMNは,入力ニューラルネットワーク関数を残したパラメータ置換対称性と等価であることを示す。
  論文  参考訳（メタデータ） (2023-12-07T18:21:52Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• Memorization with neural nets: going beyond the worst case [5.662924503089369]
  実際には、ディープニューラルネットワークはトレーニングデータを簡単に補間できることが多い。 しかし、実世界のデータについては、暗記能力によって提案されるよりもネットワークサイズが小さいような良質な構造の存在を直感的に期待する。 2つのクラスを持つ固定有限データセットを与えられた場合、高い確率で3層ニューラルネットワークを時間内に補間する単純なランダム化アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2023-09-30T10:06:05Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Neural Network Layer Algebra: A Framework to Measure Capacity and Compression in Deep Learning [0.0]
  本稿では,(深度)ニューラルネットワークの内在特性を測定するための新しい枠組みを提案する。 畳み込みネットワークに重点を置いている間、我々のフレームワークはどんなネットワークアーキテクチャにも外挿できる。
  論文  参考訳（メタデータ） (2021-07-02T13:43:53Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)
• On Tractable Representations of Binary Neural Networks [23.50970665150779]
  我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。 実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-05T03:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。