論文の概要: k* Distribution: Evaluating the Latent Space of Deep Neural Networks using Local Neighborhood Analysis
- arxiv url: http://arxiv.org/abs/2312.04024v2
- Date: Sat, 17 Aug 2024 00:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-21 03:57:15.634036
- Title: k* Distribution: Evaluating the Latent Space of Deep Neural Networks using Local Neighborhood Analysis
- Title（参考訳）: k*分布:局所的近傍分析による深部ニューラルネットワークの潜時空間の評価
- Authors: Shashank Kotyan, Tatsuya Ueda, Danilo Vasconcellos Vargas,
- Abstract要約: ここでは,k*分布とその可視化手法を紹介する。
本手法では, サンプル分布の構造の保存を保証するため, 局所的近傍解析を用いる。
実験により、ネットワークの学習潜在空間内のサンプルの分布は、クラスによって大きく異なることが示された。
- 参考スコア（独自算出の注目度）: 7.742297876120561
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most examinations of neural networks' learned latent spaces typically employ dimensionality reduction techniques such as t-SNE or UMAP. These methods distort the local neighborhood in the visualization, making it hard to distinguish the structure of a subset of samples in the latent space. In response to this challenge, we introduce the {k*~distribution} and its corresponding visualization technique This method uses local neighborhood analysis to guarantee the preservation of the structure of sample distributions for individual classes within the subset of the learned latent space. This facilitates easy comparison of different k*~distributions, enabling analysis of how various classes are processed by the same neural network. Our study reveals three distinct distributions of samples within the learned latent space subset: a) Fractured, b) Overlapped, and c) Clustered, providing a more profound understanding of existing contemporary visualizations. Experiments show that the distribution of samples within the network's learned latent space significantly varies depending on the class. Furthermore, we illustrate that our analysis can be applied to explore the latent space of diverse neural network architectures, various layers within neural networks, transformations applied to input samples, and the distribution of training and testing data for neural networks. Thus, the k* distribution should aid in visualizing the structure inside neural networks and further foster their understanding. Project Website is available online at https://shashankkotyan.github.io/k-Distribution/.
- Abstract（参考訳）: ニューラルネットワークの学習潜在空間のほとんどの検査では、通常、t-SNEやUMAPのような次元還元技術を用いる。
これらの手法は、視覚化において局所的な近傍を歪め、潜伏空間におけるサンプルのサブセットの構造を区別することが困難になる。
本手法では,学習した潜伏空間のサブセット内の個々のクラスに対するサンプル分布の構造の保存を保証するために,局所的近傍解析を用いる。
これにより、異なるk*〜分布を簡単に比較でき、同じニューラルネットワークで様々なクラスがどのように処理されるかを分析することができる。
我々の研究は、学習された潜在空間部分集合内のサンプルの3つの異なる分布を明らかにした。
a (複数形 as)
b) オーバーラップし、そして
c) クラスタ化され、既存の現代的な視覚化をより深く理解する。
実験により、ネットワークの学習潜在空間内のサンプルの分布は、クラスによって大きく異なることが示された。
さらに、ニューラルネットワークアーキテクチャの潜時空間、ニューラルネットワーク内の様々な層、入力サンプルに適用された変換、ニューラルネットワークのトレーニングとテストデータの分布について、我々の分析を適用した。
したがって、k*分布は、ニューラルネットワーク内の構造を可視化し、その理解をさらに促進するのに役立ちます。
Project Webサイトはhttps://shashankkotyan.github.io/k-Distribution/.comで公開されている。
関連論文リスト
- Exploring the Manifold of Neural Networks Using Diffusion Geometry [7.038126249994092]
ニューラルネットワークの隠蔽層表現間の距離を導入することにより,データポイントがニューラルネットワークである多様体を学習する。
これらの距離は非線形次元減少アルゴリズムPHATEに供給され、ニューラルネットワークの多様体を生成する。
解析の結果,高い性能のネットワークが一貫した埋め込みパターンを表示できることがわかった。
論文 参考訳（メタデータ） (2024-11-19T16:34:45Z) - Linking in Style: Understanding learned features in deep learning models [0.0]
畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。
本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
論文 参考訳（メタデータ） (2024-09-25T12:28:48Z) - GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based
Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。
本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-01-17T13:04:23Z) - Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
論文 参考訳（メタデータ） (2023-05-25T23:32:10Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - Discretization Invariant Networks for Learning Maps between Neural
Fields [3.09125960098955]
離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。
我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。
構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
論文 参考訳（メタデータ） (2022-06-02T17:44:03Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳（メタデータ） (2020-12-05T22:58:37Z) - Multi-Subspace Neural Network for Image Recognition [33.61205842747625]
画像分類タスクでは, 特徴抽出は常に大きな問題であり, クラス内変動により抽出器の設計が困難になる。
近年、ディープラーニングはデータから機能を自動的に学習することに多くの注意を払っている。
本研究では,畳み込みニューラルネットワーク(CNN)のキーコンポーネントをサブスペースの概念と組み合わせたマルチサブスペースニューラルネットワーク(MSNN)を提案する。
論文 参考訳（メタデータ） (2020-06-17T02:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。