論文の概要: Understanding Deep Learning using Topological Dynamical Systems, Index Theory, and Homology

• arxiv url: http://arxiv.org/abs/2208.12562v1
• Date: Mon, 25 Jul 2022 01:58:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 19:31:35.189113
• Title: Understanding Deep Learning using Topological Dynamical Systems, Index Theory, and Homology
• Title（参考訳）: トポロジカル力学系, インデックス理論, ホモロジーを用いた深層学習の理解
• Authors: Bill Basener
• Abstract要約: ニューラルネットワークの個々のニューロンが、NNが学習した決定面に対する単純な複素多様体の単純な近似にどのように対応できるかを示す。 また,NNが学習した確率密度関数の勾配が,多種多様なトポロジカルツールを用いて解析可能な力学系をいかに生み出すかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we investigate Deep Learning Models using topological dynamical systems, index theory, and computational homology. These mathematical machinery was invented initially by Henri Poincare around 1900 and developed over time to understand shapes and dynamical systems whose structure and behavior is too complicated to solve for analytically but can be understood via global relationships. In particular, we show how individual neurons in a neural network can correspond to simplexes in a simplicial complex manifold approximation to the decision surface learned by the NN, and how these simplexes can be used to compute topological invariants from algebraic topology for the decision manifold with an explicit computation of homology groups by hand in a simple case. We also show how the gradient of the probability density function learned by the NN creates a dynamical system, which can be analyzed by a myriad of topological tools such as Conley Index Theory, Morse Theory, and Stable Manifolds. We solve analytically for associated the differential equation for a trained NN with a single hidden layer of 256 Neurons applied to the MINST digit dataset, and approximately numerically that it a sink and basin of attraction for each of the 10 classes, but the sinks and strong attracting manifolds lie in regions not corresponding to images of actual digits. Index theory implies the existence of saddles. Level sets of the probability functions are 783-dimensional manifolds which can only change topology at critical points of the dynamical system, and these changes in topology can be investigated with Morse Theory.
• Abstract（参考訳）: 本稿では,位相力学系,指数論,計算ホモロジーを用いた深層学習モデルについて検討する。 これらの数学的機械は、1900年頃にアンリ・ポインカレによって発明され、解析的に解くには複雑すぎるが、大域的な関係を通じて理解できるような形状や力学系を理解するために時間とともに開発された。 特に、ニューラルネットワークの個々のニューロンが、NNが学習した決定曲面に対する単純な複素多様体近似の単純な近似とどのように対応するかを示し、これらの単純な場合において、ホモロジー群を手動で明示的に計算した決定多様体の代数的トポロジーから位相不変量を計算するためにこれらの簡約がどのように使用できるかを示す。 また,NN が学習した確率密度関数の勾配が,コンリー指数理論,モース理論,安定多様体などの無数のトポロジカルツールによって解析可能な力学系をいかに生み出すかを示す。 我々は、訓練NNの微分方程式を、MINST桁データセットに適用した256個のニューロンの単一の隠蔽層に関連付け、およそ10クラスの各アトラクションのシンクとアトラクションの流域であることを解析的に解決するが、実際の桁の画像に対応しない領域には、シンクと強い誘引多様体が存在する。 索引理論はサドルの存在を意味する。 確率関数のレベル集合は733次元多様体であり、力学系の臨界点でのみトポロジーを変化させることができ、これらのトポロジーの変化はモース理論によって研究できる。

関連論文リスト

• Topological Representational Similarity Analysis in Brains and Beyond [15.417809900388262]
  この論文では、神経表現の幾何学的および位相的特性を組み合わせた新しいフレームワークであるトポロジカルRSA(tRSA)を紹介する。 tRSAは非線型単調変換を表現上の相似性に適用し、中間スケールの幾何学を維持しながら局所位相を強調する。 結果として生じる地形行列は、ノイズや個々の慣用性に頑健なモデル比較を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T19:02:00Z)
• Randomly Weighted Neuromodulation in Neural Networks Facilitates Learning of Manifolds Common Across Tasks [1.9580473532948401]
  幾何知覚ハッシュ関数(Geometric Sensitive Hashing function)は、教師あり学習においてクラス固有の多様体幾何を学ぶニューラルネットワークモデルである。 神経変調システムを用いたランダムに重み付けされたニューラルネットワークは,この機能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-11-17T15:22:59Z)
• Embedding Capabilities of Neural ODEs [0.0]
  動的システム理論を用いたニューラルODEの入出力関係について検討する。 我々は,低次元および高次元の異なるニューラルODEアーキテクチャにおける写像の正確な埋め込みについて,いくつかの結果を証明した。
  論文  参考訳（メタデータ） (2023-08-02T15:16:34Z)
• Generalized Neural Closure Models with Interpretability [28.269731698116257]
  我々は、統合された神経部分遅延微分方程式の新規で汎用的な方法論を開発した。 マルコフ型および非マルコフ型ニューラルネットワーク(NN)の閉包パラメータ化を用いて, 偏微分方程式(PDE)における既存/低忠実度力学モデルを直接拡張する。 本研究では, 非線形波動, 衝撃波, 海洋酸性化モデルに基づく4つの実験セットを用いて, 新しい一般化ニューラルクロージャモデル(gnCMs)の枠組みを実証する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:43Z)
• Tunable Complexity Benchmarks for Evaluating Physics-Informed Neural Networks on Coupled Ordinary Differential Equations [64.78260098263489]
  本研究では,より複雑に結合した常微分方程式(ODE)を解く物理インフォームドニューラルネットワーク(PINN)の能力を評価する。 PINNの複雑性が増大するにつれて,これらのベンチマークに対する正しい解が得られないことが示される。 PINN損失のラプラシアンは,ネットワーク容量の不足,ODEの条件の低下,局所曲率の高さなど,いくつかの理由を明らかにした。
  論文  参考訳（メタデータ） (2022-10-14T15:01:32Z)
• Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
  単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。 単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-28T14:59:41Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。