論文の概要: Determining Structural Properties of Artificial Neural Networks Using Algebraic Topology

• arxiv url: http://arxiv.org/abs/2101.07752v2
• Date: Thu, 21 Jan 2021 13:17:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-22 13:30:09.105474
• Title: Determining Structural Properties of Artificial Neural Networks Using Algebraic Topology
• Title（参考訳）: 代数トポロジーを用いたニューラルネットワークの構造特性決定
• Authors: David P\'erez Fern\'andez and Asier Guti\'errez-Fandi\~no and Jordi Armengol-Estap\'e and Marta Villegas
• Abstract要約: 人工ニューラルネットワーク(ANN)は複雑な関数の近似に広く用いられている。 永続ホモロジー(PH)はANNの位相的「指紋」を研究するのに用いられる。 このアプローチは、より原則化されたアーキテクチャ検索手順を設計するという目標に役立ちます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial Neural Networks (ANNs) are widely used for approximating complex functions. The process that is usually followed to define the most appropriate architecture for an ANN given a specific function is mostly empirical. Once this architecture has been defined, weights are usually optimized according to the error function. On the other hand, we observe that ANNs can be represented as graphs and their topological 'fingerprints' can be obtained using Persistent Homology (PH). In this paper, we describe a proposal focused on designing more principled architecture search procedures. To do this, different architectures for solving problems related to a heterogeneous set of datasets have been analyzed. The results of the evaluation corroborate that PH effectively characterizes the ANN invariants: when ANN density (layers and neurons) or sample feeding order is the only difference, PH topological invariants appear; in the opposite direction in different sub-problems (i.e. different labels), PH varies. This approach based on topological analysis helps towards the goal of designing more principled architecture search procedures and having a better understanding of ANNs.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)は複雑な関数の近似に広く用いられている。 通常、特定の関数が与えられたANNの最も適切なアーキテクチャを定義するために従うプロセスは、主に経験的である。 このアーキテクチャが定義されると、通常はエラー関数に従って重みが最適化される。 一方、ANNはグラフとして表現でき、そのトポロジ的「フィンガープリント」は Persistent Homology (PH) を用いて得られる。 本稿では,より原則的なアーキテクチャ探索手順の設計に焦点を当てた提案について述べる。 これを実現するために、異種データセットに関連する問題を解くための異なるアーキテクチャが分析されている。 ANN密度(層とニューロン)またはサンプル摂食順序が唯一の差である場合、PHトポロジカル不変量は、異なるサブプロブレム(すなわち、異なるサブプロブレム)の反対方向に現れる。 異なるラベル) phは異なる。 トポロジカル分析に基づくこのアプローチは、より原則化されたアーキテクチャ検索手順を設計し、annをより理解することの目標に役立ちます。

関連論文リスト

• Structure of Artificial Neural Networks -- Empirical Investigations [0.0]
  10年以内にDeep Learningは、人工知能の数え切れないほどの問題を、支配的な解法で克服した。 ニューラルネットワークの構造を形式的に定義することで、ニューラルネットワークの探索問題と解法を共通の枠組みで定式化することができる。 構造は違いをもたらすのか、それとも任意に選択できるのか?
  論文  参考訳（メタデータ） (2024-10-12T16:13:28Z)
• Characterization of topological structures in different neural network architectures [0.0]
  本研究では,異なるアーキテクチャの表現を解析し,その表現を用いて有効な結果を得る方法を提案する。 これらの手法をResNet, VGG19, ViTアーキテクチャに適用し, 類似点と相違点が認められた。
  論文  参考訳（メタデータ） (2024-07-08T18:02:18Z)
• On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology [9.537910170141467]
  特徴埋め込み空間のトポロジがベッチ数を介してよく訓練されたディープニューラルネットワーク(DNN)の層を通過するとき、どのように変化するかを検討する。 深度が増加するにつれて、トポロジカルに複雑なデータセットが単純なデータセットに変換され、ベッチ数はその最小値に達することが示される。
  論文  参考訳（メタデータ） (2023-11-08T10:45:12Z)
• On the Expressiveness and Generalization of Hypergraph Neural Networks [77.65788763444877]
  この拡張抽象化はハイパーグラフニューラルネットワーク(HyperGNN)の表現性、学習、および(構造的)一般化を分析するためのフレームワークを記述する。 具体的には、HyperGNNが有限データセットからどのように学習し、任意の入力サイズのグラフ推論問題に構造的に一般化するかに焦点を当てる。
  論文  参考訳（メタデータ） (2023-03-09T18:42:18Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• PDE-GCN: Novel Architectures for Graph Neural Networks Motivated by Partial Differential Equations [12.53670196903443]
  ディープグラフネットワークは、浅いグラフネットワークよりも必ずしもパフォーマンスが良いとは限らない。 この行動は通常、過度に滑らかな現象に起因している。 我々は、この振る舞いを設計によって制御するアーキテクチャのファミリーを提案する。
  論文  参考訳（メタデータ） (2021-08-04T09:59:57Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)
• Neural Anisotropy Directions [63.627760598441796]
  我々は、アーキテクチャの方向性誘導バイアスをカプセル化するベクトルとして、神経異方性方向(NAD)を定義する。 CIFAR-10データセットでは、NADはCNNが異なるクラス間で識別するために使用する特徴を特徴付ける。
  論文  参考訳（メタデータ） (2020-06-17T08:36:28Z)
• An Optimization and Generalization Analysis for Max-Pooling Networks [34.58092926599547]
  Max-Pooling操作はディープラーニングアーキテクチャの中核的なコンポーネントである。 畳み込み最大プールアーキテクチャの理論解析を行う。 我々は、CNNが我々の設定において完全に接続されたネットワークを著しく上回っていることを実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-22T22:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。