論文の概要: k* Distribution: Evaluating the Latent Space of Deep Neural Networks
using Local Neighborhood Analysis
- arxiv url: http://arxiv.org/abs/2312.04024v1
- Date: Thu, 7 Dec 2023 03:42:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-08 16:17:36.145641
- Title: k* Distribution: Evaluating the Latent Space of Deep Neural Networks
using Local Neighborhood Analysis
- Title(参考訳): k*分布:局所的近傍分析による深部ニューラルネットワークの潜時空間の評価
- Authors: Shashank Kotyan, Ueda Tatsuya and Danilo Vasconcellos Vargas
- Abstract要約: t-SNE や UMAP のような次元還元技術は、潜在空間の部分集合内の特定のクラス内のサンプル分布の構造を歪ませる傾向がある。
我々は,個々のクラスに対するサンプル分布の特徴と構造を抽出することに焦点を当てたk*分布法を紹介する。
本研究は, 学習した潜在空間部分集合内の試料の3つの異なる分布を明らかにした: a) 破砕, b) オーバーラップ, c) クラスタ化。
- 参考スコア(独自算出の注目度): 8.701566919381225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most examinations of neural networks' learned latent spaces typically employ
dimensionality reduction techniques such as t-SNE or UMAP. While these methods
effectively capture the overall sample distribution in the entire learned
latent space, they tend to distort the structure of sample distributions within
specific classes in the subset of the latent space. This distortion complicates
the task of easily distinguishing classes identifiable by neural networks. In
response to this challenge, we introduce the k* Distribution methodology. This
approach focuses on capturing the characteristics and structure of sample
distributions for individual classes within the subset of the learned latent
space using local neighborhood analysis. The key concept is to facilitate easy
comparison of different k* distributions, enabling analysis of how various
classes are processed by the same neural network. This provides a more profound
understanding of existing contemporary visualizations. Our study reveals three
distinct distributions of samples within the learned latent space subset: a)
Fractured, b) Overlapped, and c) Clustered. We note and demonstrate that the
distribution of samples within the network's learned latent space significantly
varies depending on the class. Furthermore, we illustrate that our analysis can
be applied to explore the latent space of diverse neural network architectures,
various layers within neural networks, transformations applied to input
samples, and the distribution of training and testing data for neural networks.
We anticipate that our approach will facilitate more targeted investigations
into neural networks by collectively examining the distribution of different
samples within the learned latent space.
- Abstract(参考訳): ニューラルネットワークの学習潜在空間のほとんどの検査では、通常、t-SNEやUMAPのような次元還元技術を用いる。
これらの手法は学習された潜在空間全体のサンプル分布を効果的に捉えるが、潜在空間の部分集合内の特定のクラス内のサンプル分布の構造を歪める傾向がある。
この歪みは、ニューラルネットワークで識別できるクラスを容易に区別するタスクを複雑にする。
この課題への対応として,k*分布法を導入する。
この手法は,学習された潜伏空間のサブセット内の個々のクラスに対するサンプル分布の特性と構造を局所的近傍解析を用いて把握することに焦点を当てる。
鍵となる概念は、異なるk*分布の比較を容易にし、同じニューラルネットワークで様々なクラスがどのように処理されるかを分析することである。
これにより、現在の可視化をより深く理解することができる。
本研究は,学習された潜在空間部分集合内のサンプルの3つの異なる分布を明らかにする。
a (複数形 fractures)
b) オーバーラップし、そして
c) クラスタ化。
ネットワークの学習した潜在空間内のサンプルの分布は,クラスによって大きく異なることを指摘し,実証した。
さらに,本解析により,ニューラルネットワークアーキテクチャの潜在空間,ニューラルネットワーク内の様々な層,入力サンプルへの変換,ニューラルネットワークのためのトレーニングおよびテストデータの分布を探索できることを示した。
我々は、学習された潜伏空間内の異なるサンプルの分布を総合的に調べることで、ニューラルネットワークのより標的となる研究を促進することを期待する。
関連論文リスト
- Variation Spaces for Multi-Output Neural Networks: Insights on
Multi-Task Learning and Network Compression [31.518212876863878]
本稿では,ベクトル値ニューラルネットワークの解析のための新しい理論的枠組みを提案する。
この研究の重要な貢献は、ベクトル値変動空間に対する表現定理の開発である。
これらのベクトル値変動空間に関連するノルムは、複数のタスクに有用な特徴の学習を促進する。
論文 参考訳(メタデータ) (2023-05-25T23:32:10Z) - Quantile and moment neural networks for learning functionals of
distributions [0.0]
確率空間における分布関数の近似関数について,ニューズニューラルネットワークについて検討する。
量子化とモーメント近似に基づくニューラルネットワークの2つのクラスを提案し,これらの関数を学習した。
論文 参考訳(メタデータ) (2023-03-20T12:23:31Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Discretization Invariant Networks for Learning Maps between Neural
Fields [3.09125960098955]
離散化不変ニューラルネットワーク(DI-Net)の理解と設計のための新しいフレームワークを提案する。
我々の分析は、異なる有限離散化の下でのモデル出力の偏差の上限を確立する。
構成により、DI-Netsは可積分函数空間間の大きな写像のクラスを普遍的に近似することが証明される。
論文 参考訳(メタデータ) (2022-06-02T17:44:03Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Locally Sparse Networks for Interpretable Predictions [7.362415721170984]
本稿では,局所的な疎度をサンプル固有のゲーティング機構を用いて学習する,局所スパースニューラルネットワークのトレーニングフレームワークを提案する。
サンプル固有の間隔は、テキスト予測ネットワークで予測され、テキスト予測ネットワークとタンデムでトレーニングされる。
本手法は,1インスタンスあたりの機能が少ないターゲット関数の予測において,最先端のモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2021-06-11T15:46:50Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳(メタデータ) (2020-12-05T22:58:37Z) - Phase space learning with neural networks [0.0]
本研究では、部分微分方程式(PDE)を解く投影型手法の非線形一般化としてのオートエンコーダニューラルネットワークを提案する。
提案したディープラーニングアーキテクチャは、中間再構成なしに非常に少ない潜在空間に完全に統合することでPDEのダイナミクスを生成でき、その後、潜在解を元の空間に復号することができる。
単一経路のサンプルデータから動的システムの位相空間のグローバルな特性を学習するために、適切に正規化されたニューラルネットワークの信頼性と、目に見えない分岐を予測する能力を示す。
論文 参考訳(メタデータ) (2020-06-22T20:28:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。