論文の概要: Exploring the Manifold of Neural Networks Using Diffusion Geometry

• arxiv url: http://arxiv.org/abs/2411.12626v1
• Date: Tue, 19 Nov 2024 16:34:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:36:06.567603
• Title: Exploring the Manifold of Neural Networks Using Diffusion Geometry
• Title（参考訳）: 拡散幾何学を用いたニューラルネットワークの多様体探索
• Authors: Elliott Abel, Peyton Crevasse, Yvan Grinspan, Selma Mazioud, Folu Ogundipe, Kristof Reimann, Ellie Schueler, Andrew J. Steindl, Ellen Zhang, Dhananjay Bhaskar, Siddharth Viswanath, Yanlei Zhang, Tim G. J. Rudner, Ian Adelstein, Smita Krishnaswamy,
• Abstract要約: ニューラルネットワークの隠蔽層表現間の距離を導入することにより,データポイントがニューラルネットワークである多様体を学習する。 これらの距離は非線形次元減少アルゴリズムPHATEに供給され、ニューラルネットワークの多様体を生成する。 解析の結果,高い性能のネットワークが一貫した埋め込みパターンを表示できることがわかった。
• 参考スコア（独自算出の注目度）: 7.038126249994092
• License:
• Abstract: Drawing motivation from the manifold hypothesis, which posits that most high-dimensional data lies on or near low-dimensional manifolds, we apply manifold learning to the space of neural networks. We learn manifolds where datapoints are neural networks by introducing a distance between the hidden layer representations of the neural networks. These distances are then fed to the non-linear dimensionality reduction algorithm PHATE to create a manifold of neural networks. We characterize this manifold using features of the representation, including class separation, hierarchical cluster structure, spectral entropy, and topological structure. Our analysis reveals that high-performing networks cluster together in the manifold, displaying consistent embedding patterns across all these features. Finally, we demonstrate the utility of this approach for guiding hyperparameter optimization and neural architecture search by sampling from the manifold.
• Abstract（参考訳）: 多くの高次元データが低次元多様体上あるいは近辺にあることを仮定する多様体仮説からの動機付けを、ニューラルネットワークの空間に多様体学習を適用する。 ニューラルネットワークの隠蔽層表現間の距離を導入することにより,データポイントがニューラルネットワークである多様体を学習する。 これらの距離は非線形次元減少アルゴリズムPHATEに供給され、ニューラルネットワークの多様体を生成する。 この多様体の特徴は,クラス分離,階層クラスタ構造,スペクトルエントロピー,位相構造などである。 解析の結果,高パフォーマンスなネットワークが多様体にまとめられ,これらすべての特徴に一貫した埋め込みパターンが示されることがわかった。 最後に,超パラメータ最適化の導出と,多様体からのサンプリングによるニューラルアーキテクチャ探索における本手法の有用性を実証する。

関連論文リスト

• A Theoretical Study of Neural Network Expressive Power via Manifold Topology [9.054396245059555]
  実世界のデータに関する一般的な仮定は、それが低次元多様体の上または近くにあるということである。 本研究では,潜在データ多様体のネットワーク表現力について検討する。 本稿では,ReLUニューラルネットワークのサイズ上限について述べる。
  論文  参考訳（メタデータ） (2024-10-21T22:10:24Z)
• Convergence Analysis for Deep Sparse Coding via Convolutional Neural Networks [7.956678963695681]
  本稿では,Deep Sparse Coding(DSC)モデルについて紹介する。 スパース特徴を抽出する能力において,CNNの収束率を導出する。 スパースコーディングとCNNの強いつながりにインスパイアされた私たちは、ニューラルネットワークがよりスパースな機能を学ぶように促すトレーニング戦略を探求する。
  論文  参考訳（メタデータ） (2024-08-10T12:43:55Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Riemannian Residual Neural Networks [58.925132597945634]
  残余ニューラルネットワーク(ResNet)の拡張方法を示す。 ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
  論文  参考訳（メタデータ） (2023-10-16T02:12:32Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
  まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。 その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。 トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
  論文  参考訳（メタデータ） (2023-05-25T14:17:15Z)
• Effects of Data Geometry in Early Deep Learning [16.967930721746672]
  ディープニューラルネットワークは、画像からグラフまで、さまざまなタイプのデータ上の関数を、基礎構造によって近似することができる。 ニューラルネットワークが線形関数として振る舞う領域にデータ多様体を分割する。
  論文  参考訳（メタデータ） (2022-12-29T17:32:05Z)
• A Convergence Rate for Manifold Neural Networks [6.428026202398116]
  ラプラスベルトラミ作用素のスペクトル分解を用いた多様体ニューラルネットワークの構成法を提案する。 この結果に基づいて、多様体の内在次元に依存する収束率を確立する。 また,ネットワークの深さと各層で使用されるフィルタ数に依存する収束率についても論じる。
  論文  参考訳（メタデータ） (2022-12-23T22:44:25Z)
• Experimental Observations of the Topology of Convolutional Neural Network Activations [2.4235626091331737]
  トポロジカル・データ解析は、複雑な構造のコンパクトでノイズ・ロバストな表現を提供する。 ディープニューラルネットワーク(DNN)は、モデルアーキテクチャによって定義された一連の変換に関連する数百万のパラメータを学習する。 本稿では,画像分類に使用される畳み込みニューラルネットワークの解釈可能性に関する知見を得る目的で,TDAの最先端技術を適用した。
  論文  参考訳（メタデータ） (2022-12-01T02:05:44Z)
• Convolutional Neural Networks on Manifolds: From Graphs and Back [122.06927400759021]
  本稿では,多様体畳み込みフィルタと点次非線形性からなる多様体ニューラルネットワーク(MNN)を提案する。 要約すると、我々は大きなグラフの極限として多様体モデルに焦点を合わせ、MNNを構築するが、それでもMNNの離散化によってグラフニューラルネットワークを復活させることができる。
  論文  参考訳（メタデータ） (2022-10-01T21:17:39Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。