論文の概要: Lightweight Graph Convolutional Networks with Topologically Consistent Magnitude Pruning

• arxiv url: http://arxiv.org/abs/2203.13616v1
• Date: Fri, 25 Mar 2022 12:34:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 12:38:54.216721
• Title: Lightweight Graph Convolutional Networks with Topologically Consistent Magnitude Pruning
• Title（参考訳）: 位相整合等級プルーニングを有する軽量グラフ畳み込みネットワーク
• Authors: Hichem Sahbi
• Abstract要約: グラフ畳み込みネットワーク(GCN)は現在、不規則データによる学習で主流である。 本稿では,軽量GCN設計のための新しい手法を提案する。 提案手法は, トポロジ的整合性を確保しつつ, 最大等級で解析し, 選定する。
• 参考スコア（独自算出の注目度）: 12.18340575383456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph convolution networks (GCNs) are currently mainstream in learning with irregular data. These models rely on message passing and attention mechanisms that capture context and node-to-node relationships. With multi-head attention, GCNs become highly accurate but oversized, and their deployment on cheap devices requires their pruning. However, pruning at high regimes usually leads to topologically inconsistent networks with weak generalization. In this paper, we devise a novel method for lightweight GCN design. Our proposed approach parses and selects subnetworks with the highest magnitudes while guaranteeing their topological consistency. The latter is obtained by selecting only accessible and co-accessible connections which actually contribute in the evaluation of the selected subnetworks. Experiments conducted on the challenging FPHA dataset show the substantial gain of our topologically consistent pruning method especially at very high pruning regimes.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は現在、不規則データによる学習で主流である。 これらのモデルは、コンテキストとノード間関係をキャプチャするメッセージパッシングとアテンションメカニズムに依存している。 マルチヘッドの注目により、GCNは高度に正確だがサイズが大きすぎる。 しかし、ハイレジームでのプルーニングは通常、弱一般化を伴う位相的に一貫性のないネットワークにつながる。 本稿では,軽量GCN設計のための新しい手法を提案する。 提案手法は, トポロジ的整合性を確保しつつ, 最大等級のサブネットワークを解析し, 選択する。 後者は、選択したサブネットの評価に実際に寄与するアクセス可能かつ共アクセス可能な接続のみを選択して得られる。 挑戦的なFPHAデータセットを用いて行った実験は、特に非常に高いプルーニング条件下で、トポロジカルに一貫したプルーニング手法のかなりの利益を示している。

関連論文リスト

• Applying Self-supervised Learning to Network Intrusion Detection for Network Flows with Graph Neural Network [8.318363497010969]
  本稿では,教師なし型ネットワークフローの特定のためのGNNの適用について検討する。 我々の知る限り、NIDSにおけるネットワークフローのマルチクラス分類のための最初のGNNベースの自己教師方式である。
  論文  参考訳（メタデータ） (2024-03-03T12:34:13Z)
• Miniaturized Graph Convolutional Networks with Topologically Consistent Pruning [12.18340575383456]
  我々は,そのトポロジ的一貫性を保ちつつ,抽出作業を可能にする新しい等級刈り取り法を考案した。 後者は、アクセス可能かつ共アクセス可能な接続のみが、結果として生じる軽量ネットワークに保持されることを保証する。 我々のソリューションは、アクセシビリティ/コ・アクセシビリティを実装した、新しい再パラメータ化と2つの監督的双方向ネットワークに基づいている。
  論文  参考訳（メタデータ） (2023-06-30T12:09:22Z)
• Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning [12.18340575383456]
  我々は確率的マグニチュード・プルーニング(PMP)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。 本手法は,学習したネットワークの重み分布と事前分布とを整合させることにより,変動的かつ進行する。 骨格に基づく認識の困難な課題に対して行われた実験は、我々の軽量GCNのかなりの増加を示している。
  論文  参考訳（メタデータ） (2023-05-30T18:12:13Z)
• Revisiting Heterophily For Graph Neural Networks [42.41238892727136]
  グラフニューラルネットワーク(GNN)は、関係帰納バイアスに基づくグラフ構造を用いて基本ニューラルネットワーク(NN)を拡張する(ホモフィリー仮定) 最近の研究は、NNと比較してパフォーマンスが不十分な、非自明なデータセットのセットを特定している。
  論文  参考訳（メタデータ） (2022-10-14T08:00:26Z)
• Relation Embedding based Graph Neural Networks for Handling Heterogeneous Graph [58.99478502486377]
  我々は、同種GNNが不均一グラフを扱うのに十分な能力を持つように、シンプルで効率的なフレームワークを提案する。 具体的には、エッジ型関係と自己ループ接続の重要性を埋め込むために、関係1つのパラメータのみを使用する関係埋め込みベースのグラフニューラルネットワーク(RE-GNN)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T05:24:18Z)
• Simple and Efficient Heterogeneous Graph Neural Network [55.56564522532328]
  不均一グラフニューラルネットワーク(HGNN)は、不均一グラフの豊富な構造的および意味的な情報をノード表現に埋め込む強力な能力を持つ。 既存のHGNNは、同種グラフ上のグラフニューラルネットワーク(GNN)から多くのメカニズム、特に注意機構と多層構造を継承する。 本稿では,これらのメカニズムを詳細に検討し,簡便かつ効率的なヘテロジニアスグラフニューラルネットワーク(SeHGNN)を提案する。
  論文  参考訳（メタデータ） (2022-07-06T10:01:46Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Dimensionality Reduction Meets Message Passing for Graph Node Embeddings [0.0]
  ノード埋め込みを教師なしで生成するための主成分分析(PCA)とメッセージパッシングを組み合わせたPCAPassを提案する。 提案手法は,ノード分類ベンチマークにおいて人気の高いGNNと比較して,競争性能が向上することを示す。 我々の研究は、メッセージパッシングとスキップ接続による次元性低減が、グラフ構造化データの長距離依存性を集約する上で有望なメカニズムであることを実証している。
  論文  参考訳（メタデータ） (2022-02-01T13:39:00Z)
• AM-GCN: Adaptive Multi-channel Graph Convolutional Networks [85.0332394224503]
  グラフ畳み込みネットワーク(GCN)は,豊富な情報を持つ複雑なグラフにおいて,ノードの特徴と位相構造を最適に統合できるかどうかを検討する。 半教師付き分類(AM-GCN)のための適応型マルチチャネルグラフ畳み込みネットワークを提案する。 実験の結果,AM-GCNはノードの特徴とトポロジ的構造の両方から最も相関性の高い情報を抽出することがわかった。
  論文  参考訳（メタデータ） (2020-07-05T08:16:03Z)
• Graph Prototypical Networks for Few-shot Learning on Attributed Networks [72.31180045017835]
  グラフメタ学習フレームワーク - Graph Prototypeal Networks (GPN) を提案する。 GPNは、属性付きネットワーク上でテキストミータ学習を行い、ターゲット分類タスクを扱うための高度に一般化可能なモデルを導出する。
  論文  参考訳（メタデータ） (2020-06-23T04:13:23Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。