論文の概要: Latent Space Topology Evolution in Multilayer Perceptrons

• arxiv url: http://arxiv.org/abs/2506.01569v1
• Date: Mon, 02 Jun 2025 11:51:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.298394
• Title: Latent Space Topology Evolution in Multilayer Perceptrons
• Title（参考訳）: 多層パーセプトロンにおける潜時空間トポロジーの進化
• Authors: Eduardo Paluzo-Hidalgo,
• Abstract要約: 本稿では,多層パーセプトロン(MLP)の内部表現を解釈するフレームワークを提案する。 我々は、単純化された地図によって連結された単純化された複合体の列である単純化されたタワーを構築し、ネットワーク層間のデータの進化を捉える。
• 参考スコア（独自算出の注目度）: 0.26107298043931204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces a topological framework for interpreting the internal representations of Multilayer Perceptrons (MLPs). We construct a simplicial tower, a sequence of simplicial complexes connected by simplicial maps, that captures how data topology evolves across network layers. Our approach enables bi-persistence analysis: layer persistence tracks topological features within each layer across scales, while MLP persistence reveals how these features transform through the network. We prove stability theorems for our topological descriptors and establish that linear separability in latent spaces is related to disconnected components in the nerve complexes. To make our framework practical, we develop a combinatorial algorithm for computing MLP persistence and introduce trajectory-based visualisations that track data flow through the network. Experiments on synthetic and real-world medical data demonstrate our method's ability to identify redundant layers, reveal critical topological transitions, and provide interpretable insights into how MLPs progressively organise data for classification.
• Abstract（参考訳）: 本稿では,多層パーセプトロン(MLP)の内部表現を解釈するためのトポロジ的枠組みを提案する。 本研究では, ネットワーク層間におけるデータトポロジの進化を捉える, 単純化された構造体を簡易に構築する。 層永続性は各層内のトポロジ的特徴をスケールにわたって追跡するが、MLP持続性はこれらの特徴がネットワークを通してどのように変換されるかを明らかにする。 トポロジカル記述子に対する安定性定理を証明し、潜在空間における線形分離性は神経複合体における解離成分と関連していることを示す。 本フレームワークを実用化するために,MLP持続性を計算するための組合せアルゴリズムを開発し,ネットワーク内のデータの流れを追跡する軌跡に基づく可視化を導入する。 人工的および実世界の医療データに関する実験は、我々の手法が冗長な層を識別し、重要なトポロジカルな遷移を明らかにし、MDPがデータを段階的に分類する方法についての解釈可能な洞察を提供する。

関連論文リスト

• Holes in Latent Space: Topological Signatures Under Adversarial Influence [1.193044160835091]
  我々は,言語モデルにおける多スケール潜在空間力学を特徴付けるために,トポロジカルデータ解析のツールである永続ホモロジー(PH)を提案する。 逆数条件は連続的に遅延トポロジを圧縮し、より小さなスケールで構造的多様性を低減し、粗いトポロジにおける支配的特徴を増幅することを示した。 本稿では,層内および層間を流れる情報の流れを定量化するニューロンレベルのPHフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T18:31:49Z)
• Persistent Topological Features in Large Language Models [0.6597195879147556]
  トポロジ的特徴の持続性と変換を定量化する新しい指標である永続化類似性を導入する。 従来の類似度測定とは異なり、我々の手法はこれらの特徴の進化軌道全体を捉えている。 実用的なアプリケーションとして、永続化の類似性を活用して冗長なレイヤを特定し、実行します。
  論文  参考訳（メタデータ） (2024-10-14T19:46:23Z)
• Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity [62.11981948274508]
  LLFCの超越についての研究は,特徴学習の視点を取り入れることでLCCの理解を深める。 LLFCの総合的な実証的証拠として,2つの訓練ネットワークがLCCを満たす場合,ほぼすべての層でLLFCを満足することを示す。
  論文  参考訳（メタデータ） (2023-07-17T07:16:28Z)
• Persistence-based operators in machine learning [62.997667081978825]
  永続性に基づくニューラルネットワークレイヤのクラスを導入します。 永続化ベースのレイヤにより、ユーザは、データによって尊重される対称性に関する知識を容易に注入でき、学習可能なウェイトを備え、最先端のニューラルネットワークアーキテクチャで構成できる。
  論文  参考訳（メタデータ） (2022-12-28T18:03:41Z)
• Simplicial Attention Networks [0.0]
  異なるレイヤでデータコンポーネントを処理できる適切な自己アテンションメカニズムを導入します。 与えられた位相領域の上と下の両方の近傍を、完全にタスク指向の方法で重み付けする方法を学ぶ。 提案手法は,異なるタスク(帰納的タスク,帰納的タスク)に適用した場合,他の手法と良好に比較できる。
  論文  参考訳（メタデータ） (2022-03-14T20:47:31Z)
• Activation Landscapes as a Topological Summary of Neural Network Performance [0.0]
  我々は、ディープニューラルネットワーク(DNN)の連続層を通過するデータがどのように変換されるかを研究する。 ネットワークの各層におけるアクティベーションデータの永続的ホモロジーを計算し、その情報を永続的景観を用いて要約する。 得られた特徴マップは、ネットワークの視覚的情報化と、統計分析と機械学習のためのカーネルの両方を提供する。
  論文  参考訳（メタデータ） (2021-10-19T17:45:36Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Inter-layer Information Similarity Assessment of Deep Neural Networks Via Topological Similarity and Persistence Analysis of Data Neighbour Dynamics [93.4221402881609]
  ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。 量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。 本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
  論文  参考訳（メタデータ） (2020-12-07T15:34:58Z)
• PLLay: Efficient Topological Layer based on Persistence Landscapes [24.222495922671442]
  PLLayは、永続化ランドスケープに基づいた一般的なディープラーニングモデルのための新しいトポロジ的レイヤである。 任意の濾過を伴う一般的な永続ホモロジーに対して、層入力に関する微分可能性を示す。
  論文  参考訳（メタデータ） (2020-02-07T13:34:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。