論文の概要: On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology

• arxiv url: http://arxiv.org/abs/2311.04592v2
• Date: Thu, 9 Nov 2023 15:29:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 11:57:52.911054
• Title: On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology
• Title（参考訳）: 代数トポロジーを用いたニューラルネットワークの埋め込み空間の進化特性について
• Authors: Suryaka Suresh, Bishshoy Das, Vinayak Abrol, Sumantra Dutta Roy
• Abstract要約: 特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
• 参考スコア（独自算出の注目度）: 9.537910170141467
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We study how the topology of feature embedding space changes as it passes through the layers of a well-trained deep neural network (DNN) through Betti numbers. Motivated by existing studies using simplicial complexes on shallow fully connected networks (FCN), we present an extended analysis using Cubical homology instead, with a variety of popular deep architectures and real image datasets. We demonstrate that as depth increases, a topologically complicated dataset is transformed into a simple one, resulting in Betti numbers attaining their lowest possible value. The rate of decay in topological complexity (as a metric) helps quantify the impact of architectural choices on the generalization ability. Interestingly from a representation learning perspective, we highlight several invariances such as topological invariance of (1) an architecture on similar datasets; (2) embedding space of a dataset for architectures of variable depth; (3) embedding space to input resolution/size, and (4) data sub-sampling. In order to further demonstrate the link between expressivity \& the generalization capability of a network, we consider the task of ranking pre-trained models for downstream classification task (transfer learning). Compared to existing approaches, the proposed metric has a better correlation to the actually achievable accuracy via fine-tuning the pre-trained model.
• Abstract（参考訳）: 特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 浅層完全連結ネットワーク (FCN) 上の単体錯体を用いた既存の研究により, 代わりに立方体ホモロジーを用いた拡張解析を行い, 様々なDeep Architectureと実画像データセットを用いた。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。 トポロジカル複雑性における崩壊率(計量として)は、一般化能力に対するアーキテクチャ選択の影響を定量化するのに役立つ。 表現学習の観点からは,(1)類似したデータセット上のアーキテクチャのトポロジ的不変性,(2)可変深さのアーキテクチャのためのデータセットの埋め込み空間,(3)入力解像度/サイズへの埋め込み空間,(4)データサブサンプリングなど,いくつかの不変性に注目した。 ネットワークの表現率と一般化能力の関連性をさらに実証するために,下流分類タスク(トランスファーラーニング)における事前学習モデルのランク付け作業について検討する。 既存の手法と比較して,提案手法は事前学習モデルの微調整により,実際に達成可能な精度との相関性が高い。

関連論文リスト

• Deep Learning as Ricci Flow [38.27936710747996]
  ディープニューラルネットワーク(DNN)は、複雑なデータの分布を近似する強力なツールである。 分類タスク中のDNNによる変換は、ハミルトンのリッチ流下で期待されるものと類似していることを示す。 本研究の成果は, 微分幾何学や離散幾何学から, 深層学習における説明可能性の問題まで, ツールの利用を動機づけるものである。
  論文  参考訳（メタデータ） (2024-04-22T15:12:47Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Image Classification using Combination of Topological Features and Neural Networks [1.0323063834827417]
  我々は、データ空間から重要なトポロジ的特徴を抽出するために、永続的ホモロジー法、すなわち、トポロジ的データ解析(TDA)の技法を用いる。 これは、MNISTデータセット内の複数のクラスから画像を分類することを目的として行われた。 提案手法は,1ストリームと2ストリームのニューラルネットワークによって構成されるディープラーニングアプローチにトポロジ的特徴を挿入する。
  論文  参考訳（メタデータ） (2023-11-10T20:05:40Z)
• Homological Convolutional Neural Networks [4.615338063719135]
  本稿では,トポロジ的に制約されたネットワーク表現を通じて,データ構造構造を利用した新しいディープラーニングアーキテクチャを提案する。 5つの古典的な機械学習モデルと3つのディープラーニングモデルに対して、18のベンチマークデータセットでモデルをテストします。
  論文  参考訳（メタデータ） (2023-08-26T08:48:51Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。