論文の概要: k* Distribution: Evaluating the Latent Space of Deep Neural Networks
using Local Neighborhood Analysis
- arxiv url: http://arxiv.org/abs/2312.04024v1
- Date: Thu, 7 Dec 2023 03:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:17:36.145641
- Title: k* Distribution: Evaluating the Latent Space of Deep Neural Networks
using Local Neighborhood Analysis
- Title(参考訳): k*分布:局所的近傍分析による深部ニューラルネットワークの潜時空間の評価
- Authors: Shashank Kotyan, Ueda Tatsuya and Danilo Vasconcellos Vargas
- Abstract要約: t-SNE や UMAP のような次元還元技術は、潜在空間の部分集合内の特定のクラス内のサンプル分布の構造を歪ませる傾向がある。
我々は,個々のクラスに対するサンプル分布の特徴と構造を抽出することに焦点を当てたk*分布法を紹介する。
本研究は, 学習した潜在空間部分集合内の試料の3つの異なる分布を明らかにした: a) 破砕, b) オーバーラップ, c) クラスタ化。
- 参考スコア(独自算出の注目度): 8.701566919381225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most examinations of neural networks' learned latent spaces typically employ
dimensionality reduction techniques such as t-SNE or UMAP. While these methods
effectively capture the overall sample distribution in the entire learned
latent space, they tend to distort the structure of sample distributions within
specific classes in the subset of the latent space. This distortion complicates
the task of easily distinguishing classes identifiable by neural networks. In
response to this challenge, we introduce the k* Distribution methodology. This
approach focuses on capturing the characteristics and structure of sample
distributions for individual classes within the subset of the learned latent
space using local neighborhood analysis. The key concept is to facilitate easy
comparison of different k* distributions, enabling analysis of how various
classes are processed by the same neural network. This provides a more profound
understanding of existing contemporary visualizations. Our study reveals three
distinct distributions of samples within the learned latent space subset: a)
Fractured, b) Overlapped, and c) Clustered. We note and demonstrate that the
distribution of samples within the network's learned latent space significantly
varies depending on the class. Furthermore, we illustrate that our analysis can
be applied to explore the latent space of diverse neural network architectures,
various layers within neural networks, transformations applied to input
samples, and the distribution of training and testing data for neural networks.
We anticipate that our approach will facilitate more targeted investigations
into neural networks by collectively examining the distribution of different
samples within the learned latent space.
- Abstract(参考訳): ニューラルネットワークの学習潜在空間のほとんどの検査では、通常、t-SNEやUMAPのような次元還元技術を用いる。
これらの手法は学習された潜在空間全体のサンプル分布を効果的に捉えるが、潜在空間の部分集合内の特定のクラス内のサンプル分布の構造を歪める傾向がある。
この歪みは、ニューラルネットワークで識別できるクラスを容易に区別するタスクを複雑にする。
この課題への対応として,k*分布法を導入する。
この手法は,学習された潜伏空間のサブセット内の個々のクラスに対するサンプル分布の特性と構造を局所的近傍解析を用いて把握することに焦点を当てる。
鍵となる概念は、異なるk*分布の比較を容易にし、同じニューラルネットワークで様々なクラスがどのように処理されるかを分析することである。
これにより、現在の可視化をより深く理解することができる。
本研究は,学習された潜在空間部分集合内のサンプルの3つの異なる分布を明らかにする。
a (複数形 fractures)
b) オーバーラップし、そして
c) クラスタ化。
ネットワークの学習した潜在空間内のサンプルの分布は,クラスによって大きく異なることを指摘し,実証した。
さらに,本解析により,ニューラルネットワークアーキテクチャの潜在空間,ニューラルネットワーク内の様々な層,入力サンプルへの変換,ニューラルネットワークのためのトレーニングおよびテストデータの分布を探索できることを示した。
我々は、学習された潜伏空間内の異なるサンプルの分布を総合的に調べることで、ニューラルネットワークのより標的となる研究を促進することを期待する。
関連論文リスト
- Exploring the Manifold of Neural Networks Using Diffusion Geometry [7.038126249994092]
ニューラルネットワークの隠蔽層表現間の距離を導入することにより,データポイントがニューラルネットワークである多様体を学習する。
これらの距離は非線形次元減少アルゴリズムPHATEに供給され、ニューラルネットワークの多様体を生成する。
解析の結果,高い性能のネットワークが一貫した埋め込みパターンを表示できることがわかった。
論文 参考訳(メタデータ) (2024-11-19T16:34:45Z) - Linking in Style: Understanding learned features in deep learning models [0.0]
畳み込みニューラルネットワーク(CNN)は抽象的な特徴を学び、オブジェクト分類を行う。
本稿では,CNNにおける学習特徴を可視化し,体系的に解析する自動手法を提案する。
論文 参考訳(メタデータ) (2024-09-25T12:28:48Z) - GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based
Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。
本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳(メタデータ) (2024-01-17T13:04:23Z) - Variation Spaces for Multi-Output Neural Networks: Insights on Multi-Task Learning and Network Compression [28.851519959657466]
本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
論文 参考訳(メタデータ) (2023-05-25T23:32:10Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Discretization Invariant Networks for Learning Maps between Neural
Fields [3.09125960098955]
離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。
我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。
構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
論文 参考訳(メタデータ) (2022-06-02T17:44:03Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳(メタデータ) (2020-12-05T22:58:37Z) - Multi-Subspace Neural Network for Image Recognition [33.61205842747625]
画像分類タスクでは, 特徴抽出は常に大きな問題であり, クラス内変動により抽出器の設計が困難になる。
近年、ディープラーニングはデータから機能を自動的に学習することに多くの注意を払っている。
本研究では,畳み込みニューラルネットワーク(CNN)のキーコンポーネントをサブスペースの概念と組み合わせたマルチサブスペースニューラルネットワーク(MSNN)を提案する。
論文 参考訳(メタデータ) (2020-06-17T02:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。