論文の概要: Topology of deep neural networks

• arxiv url: http://arxiv.org/abs/2004.06093v1
• Date: Mon, 13 Apr 2020 17:53:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 23:44:09.387209
• Title: Topology of deep neural networks
• Title（参考訳）: 深部ニューラルネットワークのトポロジー
• Authors: Gregory Naitzat, Andrey Zhitnikov, and Lek-Heng Lim
• Abstract要約: M = M_a cup M_b subseteq mathbbRd$データセットのトポロジが、よく訓練されたニューラルネットワークの層を通過するとどのように変化するかを研究する。
• 参考スコア（独自算出の注目度）: 8.946655323517092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how the topology of a data set $M = M_a \cup M_b \subseteq \mathbb{R}^d$, representing two classes $a$ and $b$ in a binary classification problem, changes as it passes through the layers of a well-trained neural network, i.e., with perfect accuracy on training set and near-zero generalization error ($\approx 0.01\%$). The goal is to shed light on two mysteries in deep neural networks: (i) a nonsmooth activation function like ReLU outperforms a smooth one like hyperbolic tangent; (ii) successful neural network architectures rely on having many layers, even though a shallow network can approximate any function arbitrary well. We performed extensive experiments on the persistent homology of a wide range of point cloud data sets, both real and simulated. The results consistently demonstrate the following: (1) Neural networks operate by changing topology, transforming a topologically complicated data set into a topologically simple one as it passes through the layers. No matter how complicated the topology of $M$ we begin with, when passed through a well-trained neural network $f : \mathbb{R}^d \to \mathbb{R}^p$, there is a vast reduction in the Betti numbers of both components $M_a$ and $M_b$; in fact they nearly always reduce to their lowest possible values: $\beta_k\bigl(f(M_i)\bigr) = 0$ for $k \ge 1$ and $\beta_0\bigl(f(M_i)\bigr) = 1$, $i =a, b$. Furthermore, (2) the reduction in Betti numbers is significantly faster for ReLU activation than hyperbolic tangent activation as the former defines nonhomeomorphic maps that change topology, whereas the latter defines homeomorphic maps that preserve topology. Lastly, (3) shallow and deep networks transform data sets differently -- a shallow network operates mainly through changing geometry and changes topology only in its final layers, a deep one spreads topological changes more evenly across all layers.
• Abstract（参考訳）: M = M_a \cup M_b \subseteq \mathbb{R}^d$, バイナリ分類問題における2つのクラス$a$と$b$を表すデータセットの位相がよく訓練されたニューラルネットワークの層を通過するときの変化、すなわち、トレーニングセットの完全精度とほぼゼロの一般化誤差(\approx 0.01\%$)について検討する。 目標は、ディープニューラルネットワークの2つの謎に光を当てることです。 i) ReLUのような非滑らかな活性化関数は、双曲タンジェントのような滑らかな作用より優れる。 (II) ニューラルネットワークアーキテクチャの成功は、浅いネットワークが任意の関数をうまく近似できるとしても、多くの層を持つことに依存している。 我々は,実・模擬両方の幅広い点クラウドデータセットの永続的ホモロジーに関する広範な実験を行った。 1) ニューラルネットワークはトポロジーを変化させて動作し, トポロジー的に複雑なデータ集合を, トポロジー的に単純なデータに変換する。 M$ のトポロジーがどれほど複雑であったとしても、よく訓練されたニューラルネットワーク $f : \mathbb{R}^d \to \mathbb{R}^p$ を通り抜けると、両方の成分のベッチ数に対して $M_a$ と $M_b$ が大幅に減少し、実際は最小の値にほぼ常に減少する: $\beta_k\bigl(f(M_i)\bigr) = 0$ for $k \ge 1$ と $\beta_0\bigl(f(M_i)\bigr) = 1$, $i = a, b$ である。 さらに、(2)ベッチ数の減少は、トポロジーを変える非同型写像を前者が定義するのに対し、後者はトポロジーを保存する同型写像を定義する。 最後に、(3)浅層および深層ネットワークはデータセットを異なる方法で変換する -- 浅いネットワークは、主に幾何学を変更し、最終層のみにトポロジを変更することで機能し、深いネットワークはすべての層により均等にトポロジ的変化を拡散する。

関連論文リスト

• Implicit Hypersurface Approximation Capacity in Deep ReLU Networks [0.0]
  本稿では,ReLUアクティベーションを用いたディープフィードフォワードニューラルネットワークの幾何近似理論を開発する。 幅$d+1$の深い完全連結ReLUネットワークは、そのゼロ輪郭として暗黙的に近似を構成することができることを示す。
  論文  参考訳（メタデータ） (2024-07-04T11:34:42Z)
• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Learning Hierarchical Polynomials with Three-Layer Neural Networks [56.71223169861528]
  3層ニューラルネットワークを用いた標準ガウス分布における階層関数の学習問題について検討する。 次数$k$s$p$の大規模なサブクラスの場合、正方形損失における階層的勾配によるトレーニングを受けた3層ニューラルネットワークは、テストエラーを消すためにターゲット$h$を学習する。 この研究は、3層ニューラルネットワークが複雑な特徴を学習し、その結果、幅広い階層関数のクラスを学ぶ能力を示す。
  論文  参考訳（メタデータ） (2023-11-23T02:19:32Z)
• Differential Equation Scaling Limits of Shaped and Unshaped Neural Networks [8.716913598251386]
  類似した微分方程式に基づく2種類の不整形ネットワークのキャラクタリゼーションを求める。 我々は第1次補正を階層的相関に導出する。 これらの結果は、形状と未形状のネットワークアーキテクチャ間の接続を提供する。
  論文  参考訳（メタデータ） (2023-10-18T16:15:10Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Theory of Deep Convolutional Neural Networks III: Approximating Radial Functions [7.943024117353317]
  我々は、2つの畳み込み層、ダウン演算子、完全に接続された層からなるディープニューラルネットワークのファミリーを考える。 ネットワーク構造は、畳み込み層の数と完全に連結された層の幅を決定する2つの構造パラメータに依存する。
  論文  参考訳（メタデータ） (2021-07-02T08:22:12Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)
• A simple geometric proof for the benefit of depth in ReLU networks [57.815699322370826]
  本論文では, 多層フィードフォワードネットワークにおける深度の利点を, 整流活性化(深度分離)により証明する。 我々は、線形深さ($m$)と小さな定数幅($leq 4$)を持つ具体的なニューラルネットワークを示し、問題をゼロエラーで分類する。
  論文  参考訳（メタデータ） (2021-01-18T15:40:27Z)
• A Corrective View of Neural Networks: Representation, Memorization and Learning [26.87238691716307]
  我々はニューラルネットワーク近似の補正機構を開発する。 ランダム・フィーチャー・レギュレーション(RF)における2層ニューラルネットワークは任意のラベルを記憶できることを示す。 また、3層ニューラルネットワークについても検討し、その補正機構がスムーズなラジアル関数に対する高速な表現率をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-02-01T20:51:09Z)
• Backward Feature Correction: How Deep Learning Performs Deep (Hierarchical) Learning [66.05472746340142]
  本稿では,SGD による階層的学習 _efficiently_ と _automatically_ を学習目標として,多層ニューラルネットワークがどのように行うかを分析する。 我々は、下位機能のエラーを上位層と共にトレーニングする際に自動的に修正できる"後方特徴補正"と呼ばれる新しい原則を確立する。
  論文  参考訳（メタデータ） (2020-01-13T17:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。