論文の概要: k* Distribution: Evaluating the Latent Space of Deep Neural Networks using Local Neighborhood Analysis
- arxiv url: http://arxiv.org/abs/2312.04024v2
- Date: Sat, 17 Aug 2024 00:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 03:57:15.634036
- Title: k* Distribution: Evaluating the Latent Space of Deep Neural Networks using Local Neighborhood Analysis
- Title(参考訳): k*分布:局所的近傍分析による深部ニューラルネットワークの潜時空間の評価
- Authors: Shashank Kotyan, Tatsuya Ueda, Danilo Vasconcellos Vargas,
- Abstract要約: ここでは,k*分布とその可視化手法を紹介する。
本手法では, サンプル分布の構造の保存を保証するため, 局所的近傍解析を用いる。
実験により、ネットワークの学習潜在空間内のサンプルの分布は、クラスによって大きく異なることが示された。
- 参考スコア(独自算出の注目度): 7.742297876120561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most examinations of neural networks' learned latent spaces typically employ dimensionality reduction techniques such as t-SNE or UMAP. These methods distort the local neighborhood in the visualization, making it hard to distinguish the structure of a subset of samples in the latent space. In response to this challenge, we introduce the {k*~distribution} and its corresponding visualization technique This method uses local neighborhood analysis to guarantee the preservation of the structure of sample distributions for individual classes within the subset of the learned latent space. This facilitates easy comparison of different k*~distributions, enabling analysis of how various classes are processed by the same neural network. Our study reveals three distinct distributions of samples within the learned latent space subset: a) Fractured, b) Overlapped, and c) Clustered, providing a more profound understanding of existing contemporary visualizations. Experiments show that the distribution of samples within the network's learned latent space significantly varies depending on the class. Furthermore, we illustrate that our analysis can be applied to explore the latent space of diverse neural network architectures, various layers within neural networks, transformations applied to input samples, and the distribution of training and testing data for neural networks. Thus, the k* distribution should aid in visualizing the structure inside neural networks and further foster their understanding. Project Website is available online at https://shashankkotyan.github.io/k-Distribution/.
- Abstract(参考訳): ニューラルネットワークの学習潜在空間のほとんどの検査では、通常、t-SNEやUMAPのような次元還元技術を用いる。
これらの手法は、視覚化において局所的な近傍を歪め、潜伏空間におけるサンプルのサブセットの構造を区別することが困難になる。
本手法では,学習した潜伏空間のサブセット内の個々のクラスに対するサンプル分布の構造の保存を保証するために,局所的近傍解析を用いる。
これにより、異なるk*〜分布を簡単に比較でき、同じニューラルネットワークで様々なクラスがどのように処理されるかを分析することができる。
我々の研究は、学習された潜在空間部分集合内のサンプルの3つの異なる分布を明らかにした。
a (複数形 as)
b) オーバーラップし、そして
c) クラスタ化され、既存の現代的な視覚化をより深く理解する。
実験により、ネットワークの学習潜在空間内のサンプルの分布は、クラスによって大きく異なることが示された。
さらに、ニューラルネットワークアーキテクチャの潜時空間、ニューラルネットワーク内の様々な層、入力サンプルに適用された変換、ニューラルネットワークのトレーニングとテストデータの分布について、我々の分析を適用した。
したがって、k*分布は、ニューラルネットワーク内の構造を可視化し、その理解をさらに促進するのに役立ちます。
Project Webサイトはhttps://shashankkotyan.github.io/k-Distribution/.comで公開されている。
関連論文リスト
- An Analytic Solution to Covariance Propagation in Neural Networks [10.013553984400488]
本稿では,ニューラルネットワークの入出力分布を正確に特徴付けるために,サンプルフリーモーメント伝搬法を提案する。
この手法の鍵となる有効性は、非線形活性化関数を通した確率変数の共分散に対する解析解である。
学習ニューラルネットワークの入力出力分布を分析し,ベイズニューラルネットワークを訓練する実験において,提案手法の適用性およびメリットを示す。
論文 参考訳(メタデータ) (2024-03-24T14:08:24Z) - Topological Representations of Heterogeneous Learning Dynamics of Recurrent Spiking Neural Networks [16.60622265961373]
スパイキングニューラルネットワーク(SNN)は神経科学と人工知能において重要なパラダイムとなっている。
近年,深層ニューラルネットワークのネットワーク表現について研究が進められている。
論文 参考訳(メタデータ) (2024-03-19T05:37:26Z) - Quantile and moment neural networks for learning functionals of
distributions [0.0]
確率空間における分布関数の近似関数について,ニューズニューラルネットワークについて検討する。
量子化とモーメント近似に基づくニューラルネットワークの2つのクラスを提案し,これらの関数を学習した。
論文 参考訳(メタデータ) (2023-03-20T12:23:31Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Discretization Invariant Networks for Learning Maps between Neural
Fields [3.09125960098955]
離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。
我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。
構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
論文 参考訳(メタデータ) (2022-06-02T17:44:03Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T15:46:50Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳(メタデータ) (2020-12-05T22:58:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。