論文の概要: Binary Graph Convolutional Network with Capacity Exploration
- arxiv url: http://arxiv.org/abs/2210.13149v1
- Date: Mon, 24 Oct 2022 12:05:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 18:31:41.355676
- Title: Binary Graph Convolutional Network with Capacity Exploration
- Title（参考訳）: 容量探索を伴うバイナリグラフ畳み込みネットワーク
- Authors: Junfu Wang, Yuanfang Guo, Liang Yang, Yunhong Wang
- Abstract要約: ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
- 参考スコア（独自算出の注目度）: 58.99478502486377
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The current success of Graph Neural Networks (GNNs) usually relies on loading
the entire attributed graph for processing, which may not be satisfied with
limited memory resources, especially when the attributed graph is large. This
paper pioneers to propose a Binary Graph Convolutional Network (Bi-GCN), which
binarizes both the network parameters and input node attributes and exploits
binary operations instead of floating-point matrix multiplications for network
compression and acceleration. Meanwhile, we also propose a new gradient
approximation based back-propagation method to properly train our Bi-GCN.
According to the theoretical analysis, our Bi-GCN can reduce the memory
consumption by an average of ~31x for both the network parameters and input
data, and accelerate the inference speed by an average of ~51x, on three
citation networks, i.e., Cora, PubMed, and CiteSeer. Besides, we introduce a
general approach to generalize our binarization method to other variants of
GNNs, and achieve similar efficiencies. Although the proposed Bi-GCN and
Bi-GNNs are simple yet efficient, these compressed networks may also possess a
potential capacity problem, i.e., they may not have enough storage capacity to
learn adequate representations for specific tasks. To tackle this capacity
problem, an Entropy Cover Hypothesis is proposed to predict the lower bound of
the width of Bi-GNN hidden layers. Extensive experiments have demonstrated that
our Bi-GCN and Bi-GNNs can give comparable performances to the corresponding
full-precision baselines on seven node classification datasets and verified the
effectiveness of our Entropy Cover Hypothesis for solving the capacity problem.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)の現在の成功は、通常、属性グラフ全体を処理するためにロードすることに依存しており、特に属性グラフが大きい場合、限られたメモリリソースで満たされない可能性がある。
本稿では,ネットワークパラメータと入力ノード属性の両方を二項化して,ネットワーク圧縮と高速化のために浮動小数点行列乗算の代わりにバイナリ演算を利用するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
また,Bio-GCNを適切にトレーニングするための勾配近似に基づくバックプロパゲーション手法を提案する。
この理論解析により,Bi-GCNは,ネットワークパラメータと入力データの両方に対して平均 ~31x のメモリ消費を低減し,Cora,PubMed,CiteSeer の3つの励磁ネットワーク上で,平均 ~51x の推論速度を高速化する。
さらに,本手法を他の変種GNNに一般化し,同様の効率性を実現するための一般手法を提案する。
提案されたBi-GCNとBi-GNNは単純で効率的であるが、圧縮されたネットワークは潜在的な容量の問題も抱える可能性がある。
この容量問題に対処するために,Bi-GNN隠れ層の幅の低い境界を予測するために,エントロピー被覆仮説を提案する。
広範な実験により,我々のbi-gcnおよびbi-gnnは7つのノード分類データセットで対応する全精度ベースラインに対して同等の性能を与えることができ,エントロピーカバー仮説の有効性を検証した。
関連論文リスト
- Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳（メタデータ） (2024-07-26T03:14:13Z) - Cached Operator Reordering: A Unified View for Fast GNN Training [24.917363701638607]
グラフニューラルネットワーク(GNN)は、構造化グラフデータを扱う強力なツールであり、ノード分類、グラフ分類、クラスタリングといったタスクに対処する。
しかし、GNN計算のスパース性は、従来のディープニューラルネットワークと比較してパフォーマンス最適化に新たな課題をもたらす。
GNN計算,I/O,メモリの統一的なビューを提供することで,これらの課題に対処する。
論文 参考訳（メタデータ） (2023-08-23T12:27:55Z) - SLGCN: Structure Learning Graph Convolutional Networks for Graphs under
Heterophily [5.619890178124606]
本稿では2つの側面から問題を緩和する構造学習グラフ畳み込みネットワーク(SLGCN)を提案する。
具体的には、全ての類似ノードから特徴表現を効率的に集約するために、アンカーを用いた効率的なスペクトルクラスタリング(ESC-ANCH)を設計する。
幅広いベンチマークデータセットの実験結果は、提案されたSLGCNが、最先端のGNNよりも優れていることを示している。
論文 参考訳（メタデータ） (2021-05-28T13:00:38Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。
我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
論文 参考訳（メタデータ） (2020-10-15T07:26:23Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z) - Graph Highway Networks [77.38665506495553]
グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。
彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。
本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
論文 参考訳（メタデータ） (2020-04-09T16:26:43Z) - An Uncoupled Training Architecture for Large Graph Learning [20.784230322205232]
グラフデータをグリッドライクなデータに埋め込むための、柔軟なアンカップリングトレーニングフレームワークであるNode2Gridsを紹介します。
各ノードの影響を次々にランク付けすることで、Node2Gridsは最も影響力のある1階と、中央ノードの融合情報を持つ2階の隣人を選択する。
下流タスクの効率をさらに向上するために、単純なCNNベースのニューラルネットワークを使用して、マッピングされたグリッドのようなデータから重要な情報をキャプチャする。
論文 参考訳（メタデータ） (2020-03-21T11:49:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。