論文の概要: Peeking inside Sparse Neural Networks using Multi-Partite Graph Representations

• arxiv url: http://arxiv.org/abs/2305.16886v1
• Date: Fri, 26 May 2023 12:45:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 15:04:23.296449
• Title: Peeking inside Sparse Neural Networks using Multi-Partite Graph Representations
• Title（参考訳）: 多部グラフ表現を用いたスパースニューラルネットワーク内探索
• Authors: Elia Cunegatti, Doina Bucur, Giovanni Iacca
• Abstract要約: 現代のディープニューラルネットワーク(DNN)は計算資源を犠牲にして非常に高い性能を実現している。 ネットワークパラメータ数を減らしながら性能を維持できる効率的なDNNから、いくつかの手法が提案されている。 本稿では,既存のプルーニングアルゴリズムとアルゴリズムカテゴリの違いと,トポロジと性能の関係について検討する。
• 参考スコア（独自算出の注目度）: 5.027571997864706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Deep Neural Networks (DNNs) have achieved very high performance at the expense of computational resources. To decrease the computational burden, several techniques have proposed to extract, from a given DNN, efficient subnetworks which are able to preserve performance while reducing the number of network parameters. The literature provides a broad set of techniques to discover such subnetworks, but few works have studied the peculiar topologies of such pruned architectures. In this paper, we propose a novel \emph{unrolled input-aware} bipartite Graph Encoding (GE) that is able to generate, for each layer in an either sparse or dense neural network, its corresponding graph representation based on its relation with the input data. We also extend it into a multipartite GE, to capture the relation between layers. Then, we leverage on topological properties to study the difference between the existing pruning algorithms and algorithm categories, as well as the relation between topologies and performance.
• Abstract（参考訳）: 現代のディープニューラルネットワーク(DNN)は計算資源を犠牲にして非常に高い性能を実現している。 計算負荷を低減するため,ネットワークパラメータ数を削減しつつ,性能を維持できる効率的なサブネットワークであるDNNから抽出する手法が提案されている。 この文献は、そのようなサブネットワークを発見するための幅広いテクニックを提供しているが、そのような刈り取られたアーキテクチャの特異なトポロジを研究した作品はほとんどない。 本稿では,入力データとの関係に基づき,スパースニューラルネットワークか高密度ニューラルネットワークのそれぞれの層に対して,対応するグラフ表現を生成することができる,新規な 'emph{unrolled input-aware} bipartite Graph Encoding (GE) を提案する。 また、レイヤー間の関係を捉えるために、それを多部GEに拡張します。 そこで,我々はトポロジ特性を活用し,既存のプルーニングアルゴリズムとアルゴリズムのカテゴリの違い,およびトポロジと性能の関係について検討する。

関連論文リスト

• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Chasing Fairness in Graphs: A GNN Architecture Perspective [73.43111851492593]
  グラフニューラルネットワーク(GNN)の統一最適化フレームワーク内で設計されたtextsfFair textsfMessage textsfPassing(FMP)を提案する。 FMPでは、アグリゲーションがまず隣人の情報を活用するために採用され、バイアス軽減ステップにより、人口集団ノードのプレゼンテーションセンタが明示的に統合される。 ノード分類タスクの実験により、提案されたFMPは、実世界の3つのデータセットの公平性と正確性の観点から、いくつかのベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-12-19T18:00:15Z)
• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• Edge Graph Neural Networks for Massive MIMO Detection [15.970981766599035]
  無線通信システムにおいて、MIMO(Massive Multiple-Input Multiple-Out)検出は重要な問題である。 従来のBreief Propagation(BP)検出器はループグラフでは性能が良くないが、最近のグラフニューラルネットワーク(GNN)ベースの手法はBPの欠点を克服し、優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2022-05-22T08:01:47Z)
• Measuring and Sampling: A Metric-guided Subgraph Learning Framework for Graph Neural Network [11.017348743924426]
  グラフニューラルネットワーク(GNN)のためのMetric-Guided(MeGuide)サブグラフ学習フレームワークを提案する。 MeGuideでは、サブグラフサンプリングとミニバッチベースのトレーニングのガイドとして、Feature SmoothnessとConnection Failure Distanceという2つの新しいメトリクスを使用している。 複数のデータセット上で様々なGNNをトレーニングする上で,MeGuideの有効性と有効性を示す。
  論文  参考訳（メタデータ） (2021-12-30T11:00:00Z)
• Charged particle tracking via edge-classifying interaction networks [0.0]
  本研究では, HL-LHCで期待される高ピーク条件下での荷電粒子追跡問題に対して, 物理学的動機付き相互作用ネットワーク(IN) GNNを適用した。 我々は、GNNに基づくトラッキングの各段階での一連の測定を通して、INの優れたエッジ分類精度と追跡効率を実証する。 提案したINアーキテクチャは,従来研究されていたGNNトラッキングアーキテクチャよりも大幅に小さく,制約のある計算環境においてGNNベースのトラッキングを実現する上で重要なサイズ削減である。
  論文  参考訳（メタデータ） (2021-03-30T21:58:52Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Distance Encoding: Design Provably More Powerful Neural Networks for Graph Representation Learning [63.97983530843762]
  グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 GNNは、実際には非常に異なるグラフ部分構造に対して同一の表現を生成する。 より強力なGNNは、最近高階試験を模倣して提案され、基礎となるグラフ構造を疎結合にできないため、非効率である。 本稿では,グラフ表現学習の新たなクラスとして距離分解(DE)を提案する。
  論文  参考訳（メタデータ） (2020-08-31T23:15:40Z)
• Track Seeding and Labelling with Embedded-space Graph Neural Networks [3.5236955190576693]
  Exa.TrkXプロジェクトは、粒子トラック再構築のための機械学習アプローチを調査している。 これらのソリューションで最も有望なのは、グラフニューラルネットワーク(GNN)で、トラック計測を接続するグラフとしてイベントを処理する。 この課題に対する最先端アーキテクチャの更新について報告する。
  論文  参考訳（メタデータ） (2020-06-30T23:43:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。