論文の概要: Understanding Sparse Neural Networks from their Topology via Multipartite Graph Representations

• arxiv url: http://arxiv.org/abs/2305.16886v2
• Date: Thu, 25 Apr 2024 08:00:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-27 00:17:35.073704
• Title: Understanding Sparse Neural Networks from their Topology via Multipartite Graph Representations
• Title（参考訳）: 多部グラフ表現によるスパースニューラルネットワークのトポロジからの理解
• Authors: Elia Cunegatti, Matteo Farina, Doina Bucur, Giovanni Iacca,
• Abstract要約: Pruning-at-Initialization (PaI)アルゴリズムは、SNN(Sparse Networks)を提供する。 しかし,SNNのトポロジカルな指標が,優れたパフォーマンスを特徴付けていることはいまだ分かっていない。 線形層と畳み込み層の両方を持つSNNのための包括的トポロジ解析を,(i)新しい入力対応マルチパートグラフ(MGE)を用いて設計し,SNNのための総合的トポロジ解析を行う。
• 参考スコア（独自算出の注目度）: 4.07484910093752
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pruning-at-Initialization (PaI) algorithms provide Sparse Neural Networks (SNNs) which are computationally more efficient than their dense counterparts, and try to avoid performance degradation. While much emphasis has been directed towards \emph{how} to prune, we still do not know \emph{what topological metrics} of the SNNs characterize \emph{good performance}. From prior work, we have layer-wise topological metrics by which SNN performance can be predicted: the Ramanujan-based metrics. To exploit these metrics, proper ways to represent network layers via Graph Encodings (GEs) are needed, with Bipartite Graph Encodings (BGEs) being the \emph{de-facto} standard at the current stage. Nevertheless, existing BGEs neglect the impact of the inputs, and do not characterize the SNN in an end-to-end manner. Additionally, thanks to a thorough study of the Ramanujan-based metrics, we discover that they are only as good as the \emph{layer-wise density} as performance predictors, when paired with BGEs. To close both gaps, we design a comprehensive topological analysis for SNNs with both linear and convolutional layers, via (i) a new input-aware Multipartite Graph Encoding (MGE) for SNNs and (ii) the design of new end-to-end topological metrics over the MGE. With these novelties, we show the following: (a) The proposed MGE allows to extract topological metrics that are much better predictors of the accuracy drop than metrics computed from current input-agnostic BGEs; (b) Which metrics are important at different sparsity levels and for different architectures; (c) A mixture of our topological metrics can rank PaI algorithms more effectively than Ramanujan-based metrics. The codebase is publicly available at https://github.com/eliacunegatti/mge-snn.
• Abstract（参考訳）: Pruning-at-Initialization (PaI)アルゴリズムは、SNN(Sparse Neural Networks)を提供する。 プルーンに 'emph{how} に重点を置いているが、SNN の \emph{what topological metrics} が \emph{good performance} を特徴づけていることはいまだ分かっていない。 これまでの作業から、SNNのパフォーマンスを予測できるレイヤワイドなトポロジメトリクス(Ramanujanベースのメトリクス)があります。 これらのメトリクスを利用するには、Graph Encodings(GE)を介してネットワーク層を表現する適切な方法が必要であり、BGE(Bipartite Graph Encodings)が現在のemph{de-facto}標準となっている。 それでも既存のBGEは入力の影響を無視し、SNNをエンドツーエンドで特徴づけない。 さらに、ラマヌジャンに基づくメトリクスの徹底的な研究により、BGEと組み合わせた場合、それらが性能予測器と同等に優れていることが判明した。 両方のギャップを埋めるため、線形層と畳み込み層の両方を持つSNNの総合的なトポロジ解析を設計する。 (i)SNNとMGEのための新しい入力対応マルチパートグラフ符号化(MGE) (II) MGE上の新しいエンドツーエンドのトポロジメトリクスの設計。 これらの斬新さから、以下のことが分かる。 (a)提案したMGEは、現在の入力に依存しないBGEから計算した指標よりも、精度低下の予測器としてはるかに優れたトポロジカルメトリクスを抽出することができる。 b) どの指標が、異なる疎度レベルと異なるアーキテクチャにおいて重要であるか。 (c)我々のトポロジカルメトリクスの混合は、ラマヌジャンのメトリクスよりもPaIアルゴリズムを効果的にランク付けすることができる。 コードベースはhttps://github.com/eliacunegatti/mge-snnで公開されている。

関連論文リスト

• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Edge Graph Neural Networks for Massive MIMO Detection [15.970981766599035]
  無線通信システムにおいて、MIMO(Massive Multiple-Input Multiple-Out)検出は重要な問題である。 従来のBreief Propagation(BP)検出器はループグラフでは性能が良くないが、最近のグラフニューラルネットワーク(GNN)ベースの手法はBPの欠点を克服し、優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2022-05-22T08:01:47Z)
• Measuring and Sampling: A Metric-guided Subgraph Learning Framework for Graph Neural Network [11.017348743924426]
  グラフニューラルネットワーク(GNN)のためのMetric-Guided(MeGuide)サブグラフ学習フレームワークを提案する。 MeGuideでは、サブグラフサンプリングとミニバッチベースのトレーニングのガイドとして、Feature SmoothnessとConnection Failure Distanceという2つの新しいメトリクスを使用している。 複数のデータセット上で様々なGNNをトレーニングする上で,MeGuideの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-12-30T11:00:00Z)
• Charged particle tracking via edge-classifying interaction networks [0.0]
  本研究では, HL-LHCで期待される高ピーク条件下での荷電粒子追跡問題に対して, 物理学的動機付き相互作用ネットワーク(IN) GNNを適用した。 我々は、GNNに基づくトラッキングの各段階での一連の測定を通して、INの優れたエッジ分類精度と追跡効率を実証する。 提案したINアーキテクチャは,従来研究されていたGNNトラッキングアーキテクチャよりも大幅に小さく,制約のある計算環境においてGNNベースのトラッキングを実現する上で重要なサイズ削減である。
  論文  参考訳（メタデータ） (2021-03-30T21:58:52Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Track Seeding and Labelling with Embedded-space Graph Neural Networks [3.5236955190576693]
  Exa.TrkXプロジェクトは、粒子トラック再構築のための機械学習アプローチを調査している。 これらのソリューションで最も有望なのは、グラフニューラルネットワーク(GNN)で、トラック計測を接続するグラフとしてイベントを処理する。 この課題に対する最先端アーキテクチャの更新について報告する。
  論文  参考訳（メタデータ） (2020-06-30T23:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。