論文の概要: Beyond Multilayer Perceptrons: Investigating Complex Topologies in
Neural Networks
- arxiv url: http://arxiv.org/abs/2303.17925v1
- Date: Fri, 31 Mar 2023 09:48:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-03 14:44:04.309429
- Title: Beyond Multilayer Perceptrons: Investigating Complex Topologies in
Neural Networks
- Title(参考訳): マルチレイヤパーセプトロンを超えて - ニューラルネットワークの複雑なトポロジを探る
- Authors: Tommaso Boccato, Matteo Ferrante, Andrea Duggento, Nicola Toschi
- Abstract要約: ニューラルネットワーク(ANN)の近似能力に及ぼすネットワークトポロジの影響について検討する。
多層パーセプトロン(MLP)を含む様々なトポロジに基づく複雑なANNを構築するための新しい手法を提案する。
構築されたネットワークは、多様体学習ジェネレータから生成された合成データセットに基づいて評価され、タスクの難易度とノイズのレベルが異なる。
- 参考スコア(独自算出の注目度): 0.2580765958706854
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In this study, we explore the impact of network topology on the approximation
capabilities of artificial neural networks (ANNs), with a particular focus on
complex topologies. We propose a novel methodology for constructing complex
ANNs based on various topologies, including Barab\'asi-Albert,
Erd\H{o}s-R\'enyi, Watts-Strogatz, and multilayer perceptrons (MLPs). The
constructed networks are evaluated on synthetic datasets generated from
manifold learning generators, with varying levels of task difficulty and noise.
Our findings reveal that complex topologies lead to superior performance in
high-difficulty regimes compared to traditional MLPs. This performance
advantage is attributed to the ability of complex networks to exploit the
compositionality of the underlying target function. However, this benefit comes
at the cost of increased forward-pass computation time and reduced robustness
to graph damage. Additionally, we investigate the relationship between various
topological attributes and model performance. Our analysis shows that no single
attribute can account for the observed performance differences, suggesting that
the influence of network topology on approximation capabilities may be more
intricate than a simple correlation with individual topological attributes. Our
study sheds light on the potential of complex topologies for enhancing the
performance of ANNs and provides a foundation for future research exploring the
interplay between multiple topological attributes and their impact on model
performance.
- Abstract(参考訳): 本研究では,ニューラルネットワーク(ANN)の近似能力に対するネットワークトポロジの影響について検討し,特に複雑なトポロジに着目した。
本稿では,Barab\'asi-Albert,Erd\H{o}s-R\'enyi,Watts-Strogatz,Multilayer perceptrons (MLPs)など,様々なトポロジに基づく複雑なANNの構築手法を提案する。
構築されたネットワークは、タスクの難易度とノイズのレベルが異なる多様体学習生成器から生成された合成データセット上で評価される。
以上の結果から,複雑なトポロジは従来のmlpに比べて高い拡散率で優れた性能をもたらすことが明らかとなった。
この性能上の利点は、基盤となるターゲット関数の構成性を利用する複雑なネットワークの能力にある。
しかし、この利点は、フォワードパス計算時間の増加とグラフの損傷に対するロバスト性低下によるものである。
さらに,様々なトポロジ特性とモデル性能の関係について検討する。
解析の結果,ネットワークトポロジが近似能力に与える影響は,個々のトポロジカル属性との単純な相関よりも複雑である可能性が示唆された。
本研究は、ANNの性能向上のための複雑なトポロジの可能性に光を当て、複数のトポロジ特性間の相互作用とモデル性能への影響を探求する将来の研究基盤を提供する。
関連論文リスト
- Hyperbolic Benchmarking Unveils Network Topology-Feature Relationship in GNN Performance [0.5416466085090772]
グラフ機械学習のための総合的なベンチマークフレームワークを導入する。
我々は,現実的なトポロジ特性とノード特徴ベクトルを持つ合成ネットワークを生成する。
その結果,ネットワーク構造とノード特徴間の相互作用にモデル性能が依存していることが明らかになった。
論文 参考訳(メタデータ) (2024-06-04T20:40:06Z) - Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。
本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。
MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
論文 参考訳(メタデータ) (2024-02-04T08:57:42Z) - Homological Neural Networks: A Sparse Architecture for Multivariate
Complexity [0.0]
我々は,基礎となるデータのホモロジー構造上に構築された,疎密な高階グラフィカルアーキテクチャを特徴とする,新しいディープニューラルネットワークユニットを開発する。
その結果、この新しい設計の利点は、ごく少数のパラメータだけで最先端の機械学習モデルとディープラーニングモデルの結果を結び付けるか、克服することができる。
論文 参考訳(メタデータ) (2023-06-27T09:46:16Z) - Rethinking Persistent Homology for Visual Recognition [27.625893409863295]
本稿では,様々な訓練シナリオにおける画像分類におけるトポロジ的特性の有効性を詳細に分析する。
例えば、小さなデータセット上で単純なネットワークをトレーニングするなど、トポロジ的特徴から最も恩恵を受けるシナリオを特定します。
論文 参考訳(メタデータ) (2022-07-09T08:01:11Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Activation Landscapes as a Topological Summary of Neural Network
Performance [0.0]
我々は、ディープニューラルネットワーク(DNN)の連続層を通過するデータがどのように変換されるかを研究する。
ネットワークの各層におけるアクティベーションデータの永続的ホモロジーを計算し、その情報を永続的景観を用いて要約する。
得られた特徴マップは、ネットワークの視覚的情報化と、統計分析と機械学習のためのカーネルの両方を提供する。
論文 参考訳(メタデータ) (2021-10-19T17:45:36Z) - Soft Hierarchical Graph Recurrent Networks for Many-Agent Partially
Observable Environments [9.067091068256747]
本稿では,階層型グラフ再帰ネットワーク(HGRN)と呼ばれる新しいネットワーク構造を提案する。
以上の技術に基づいて,Soft-HGRNと呼ばれる値に基づくMADRLアルゴリズムと,SAC-HRGNというアクタクリティカルな変種を提案する。
論文 参考訳(メタデータ) (2021-09-05T09:51:25Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳(メタデータ) (2021-02-27T03:17:20Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Inter-layer Information Similarity Assessment of Deep Neural Networks
Via Topological Similarity and Persistence Analysis of Data Neighbour
Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。
量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。
本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文 参考訳(メタデータ) (2020-12-07T15:34:58Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。