論文の概要: Bi-GCN: Binary Graph Convolutional Network

• arxiv url: http://arxiv.org/abs/2010.07565v2
• Date: Thu, 8 Apr 2021 12:51:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 04:36:11.761338
• Title: Bi-GCN: Binary Graph Convolutional Network
• Title（参考訳）: Bi-GCN:バイナリグラフ畳み込みネットワーク
• Authors: Junfu Wang, Yunhong Wang, Zhen Yang, Liang Yang, Yuanfang Guo
• Abstract要約: ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
• 参考スコア（独自算出の注目度）: 57.733849700089955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have achieved tremendous success in graph representation learning. Unfortunately, current GNNs usually rely on loading the entire attributed graph into network for processing. This implicit assumption may not be satisfied with limited memory resources, especially when the attributed graph is large. In this paper, we pioneer to propose a Binary Graph Convolutional Network (Bi-GCN), which binarizes both the network parameters and input node features. Besides, the original matrix multiplications are revised to binary operations for accelerations. According to the theoretical analysis, our Bi-GCN can reduce the memory consumption by an average of ~30x for both the network parameters and input data, and accelerate the inference speed by an average of ~47x, on the citation networks. Meanwhile, we also design a new gradient approximation based back-propagation method to train our Bi-GCN well. Extensive experiments have demonstrated that our Bi-GCN can give a comparable performance compared to the full-precision baselines. Besides, our binarization approach can be easily applied to other GNNs, which has been verified in the experiments.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)はグラフ表現学習において大きな成功を収めている。 残念ながら、現在のGNNは通常、属性付きグラフ全体をネットワークにロードして処理に依存しています。 この暗黙の仮定は、特に属性グラフが大きい場合、限られたメモリリソースで満たされない。 本稿では,ネットワークパラメータと入力ノードの特徴を二項化したバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 さらに、元の行列乗算は加速のためのバイナリ演算に修正される。 この理論解析により,ネットワークパラメータと入力データの両方において,Bi-GCNは平均約30倍のメモリ消費を削減し,平均約47倍の速度で推論速度を加速させることができる。 また,Bi-GCNをよく訓練するために,新しい勾配近似に基づくバックプロパゲーション法を設計する。 大規模な実験により、我々のBi-GCNは完全精度のベースラインと同等のパフォーマンスが得られることが実証された。 さらに,実験で検証した他のGNNにも容易にバイナライズ手法を適用することができる。

関連論文リスト

• Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
  グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。 しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。 GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2023-08-23T12:27:55Z)
• BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs [19.254040098787893]
  最近の研究によると、バイナリグラフニューラルネットワーク(GNN)は双有理テンソルによるGNNの計算を省くことを約束している。 この作業は、効率の観点からバイナリGNN推論を再設計する。 GCN、GraphSAGE、GraphSAINTによる実世界のグラフの結果、提案手法は、同じ精度で8-22Xで最先端のバイナリGNN実装より優れていた。
  論文  参考訳（メタデータ） (2023-05-04T03:20:25Z)
• Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
  ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
  論文  参考訳（メタデータ） (2022-10-24T12:05:17Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。