論文の概要: A Relative Homology Theory of Representation in Neural Networks
- arxiv url: http://arxiv.org/abs/2502.01360v2
- Date: Fri, 14 Feb 2025 10:28:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 18:05:00.793687
- Title: A Relative Homology Theory of Representation in Neural Networks
- Title（参考訳）: ニューラルネットワークにおける表現の相対ホモロジー理論
- Authors: Kosio Beshkov,
- Abstract要約: 従来の研究では、ReLUアクティベーション関数を持つニューラルネットワークによって実装されたマップの集合は、断片的線形連続写像の集合と同一であることが証明されている。
これは$Phi_J$の局所ランクと$cap textImPhi_J_i$の交叉に関する2つのセットに分けることができる。
後者を重複分解 $O_Phi$ と呼び、各ポリヘドロンと入力多様体の間の交叉が成立することを証明する。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Previous research has proven that the set of maps implemented by neural networks with a ReLU activation function is identical to the set of piecewise linear continuous maps. Furthermore, such networks induce a hyperplane arrangement splitting the input domain into convex polyhedra $G_J$ over which the network $\Phi$ operates in an affine manner. In this work, we leverage these properties to define the equivalence class of inputs $\sim_\Phi$, which can be split into two sets related to the local rank of $\Phi_J$ and the intersections $\cap \text{Im}\Phi_{J_i}$. We refer to the latter as the overlap decomposition $O_\Phi$ and prove that if the intersections between each polyhedron and the input manifold are convex, the homology groups of neural representations are isomorphic to relative homology groups $H_k(\Phi(M)) \simeq H_k(M,O_\Phi)$. This lets us compute Betti numbers without the choice of an external metric. We develop methods to numerically compute the overlap decomposition through linear programming and a union-find algorithm. Using this framework, we perform several experiments on toy datasets showing that, compared to standard persistent homology, our relative homology-based computation of Betti numbers tracks purely topological rather than geometric features. Finally, we study the evolution of the overlap decomposition during training on various classification problems while varying network width and depth and discuss some shortcomings of our method.
- Abstract（参考訳）: 従来の研究では、ReLUアクティベーション関数を持つニューラルネットワークによって実装されたマップの集合は、断片的線形連続写像の集合と同一であることが証明されている。
さらに、そのようなネットワークは、入力ドメインを凸ポリヘドラ$G_J$に分割する超平面配置を誘導し、ネットワーク$\Phi$はアフィン的に動作する。
本研究では、これらの性質を利用して入力の同値類を$\sim_\Phi$と$\cap \text{Im}\Phi_{J_i}$の局所ランクに関連する2つの集合に分けることができる。
後者を重複分解 $O_\Phi$ と呼び、各ポリヘドロンと入力多様体の交叉が凸であれば、ニューラル表現のホモロジー群は相対ホモロジー群 $H_k(\Phi(M)) \simeq H_k(M,O_\Phi)$ に同型であることを示す。
これにより、外部メトリックを選択せずにベティ数を計算することができます。
線形計画法とユニオン・フィンド・アルゴリズムを用いて重なり合う分解を数値計算する手法を開発した。
このフレームワークを用いて,標準の持続的ホモロジーと比較して,ベッチ数に対する相対ホモロジーに基づく計算は幾何学的特徴ではなく純粋に位相的に追跡することを示す。
最後に,ネットワーク幅と深さの異なる様々な分類問題に対する訓練中の重複分解の進化について検討し,本手法の欠点について考察する。
関連論文リスト
- The learned range test method for the inverse inclusion problem [1.7341747123281803]
レンジテストに基づく再構成アルゴリズムは,特定のアーキテクチャを持つニューラルネットワークとして記述可能であることを示す。
我々は,教師あり学習の枠組みにおいて,このネットワークの重みを学習することを提案する。
数値シミュレーションにより、この学習範囲試験法は、多角形包有物の正確かつ安定した再構成を提供することを示した。
論文 参考訳（メタデータ） (2024-11-01T09:24:05Z) - Differential Equation Scaling Limits of Shaped and Unshaped Neural Networks [8.716913598251386]
類似した微分方程式に基づく2種類の不整形ネットワークのキャラクタリゼーションを求める。
我々は第1次補正を階層的相関に導出する。
これらの結果は、形状と未形状のネットワークアーキテクチャ間の接続を提供する。
論文 参考訳（メタデータ） (2023-10-18T16:15:10Z) - Detection-Recovery Gap for Planted Dense Cycles [72.4451045270967]
期待帯域幅$n tau$とエッジ密度$p$をエルドホス=R'enyiグラフ$G(n,q)$に植え込むモデルを考える。
低次アルゴリズムのクラスにおいて、関連する検出および回復問題に対する計算しきい値を特徴付ける。
論文 参考訳（メタデータ） (2023-02-13T22:51:07Z) - Deep Invertible Approximation of Topologically Rich Maps between
Manifolds [17.60434807901964]
位相的に興味深い多様体間の写像を安定に近似できるニューラルネットワークの設計法を示す。
局所ビリプシッツ写像、被覆空間、局所同相写像の間の位相的平行性を利用して、$mathcalT circ p circ MathcalE$ という形の新しいネットワークが局所微分同相の普遍近似器であることが分かる。
また、分子の分子イメージングを対称性で処理するためのアーキテクチャの拡張の可能性についても概説する。
論文 参考訳（メタデータ） (2022-10-02T17:14:43Z) - A singular Riemannian geometry approach to Deep Neural Networks II.
Reconstruction of 1-D equivalence classes [78.120734120667]
入力空間における出力多様体内の点の事前像を構築する。
我々は、n-次元実空間から(n-1)-次元実空間へのニューラルネットワークマップの場合の簡易性に焦点をあてる。
論文 参考訳（メタデータ） (2021-12-17T11:47:45Z) - Dist2Cycle: A Simplicial Neural Network for Homology Localization [66.15805004725809]
単純複体は多方向順序関係を明示的にエンコードするグラフの高次元一般化と見なすことができる。
単体錯体の$k$-homological特徴によってパラメータ化された関数のグラフ畳み込みモデルを提案する。
論文 参考訳（メタデータ） (2021-10-28T14:59:41Z) - The decomposition of the higher-order homology embedding constructed
from the $k$-Laplacian [5.076419064097734]
k$-階ラプラシアン $mathbfmathcal L_k$ の零空間は、多様体やネットワークの非自明な位相を符号化する。
多様体の最も単純な位相成分に対応する部分空間に埋め込まれたホモロジーを分解するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-07-23T00:40:01Z) - Distributed Saddle-Point Problems Under Similarity [173.19083235638104]
与えられたサブ最適度$epsilon0$は、$Omegabigのマスター/ワーカーネットワークで達成されることを示す。
次に,ネットワークの下位の型(ログオーバまで)に適合するアルゴリズムを提案する。
頑健なロジスティック回帰問題に対して提案アルゴリズムの有効性を評価する。
論文 参考訳（メタデータ） (2021-07-22T14:25:16Z) - ResNet-LDDMM: Advancing the LDDMM Framework Using Deep Residual Networks [86.37110868126548]
本研究では,eulerの離散化スキームに基づく非定常ode(フロー方程式)の解法として,深層残留ニューラルネットワークを用いた。
複雑なトポロジー保存変換の下での3次元形状の多種多様な登録問題について述べる。
論文 参考訳（メタデータ） (2021-02-16T04:07:13Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z) - Reduced Dilation-Erosion Perceptron for Binary Classification [1.3706331473063877]
ディレーション・エロージョン・パーセプトロン(Dilation-erosion Perceptron, DEP)は、ディレーションとエロージョンの凸結合によって得られるニューラルネットワークである。
本稿では,r-DEP(reduce Dilation-erosion)分類器を提案する。
論文 参考訳（メタデータ） (2020-03-04T19:50:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。