論文の概要: FALCON: Feature-Label Constrained Graph Net Collapse for Memory Efficient GNNs

• arxiv url: http://arxiv.org/abs/2312.16542v1
• Date: Wed, 27 Dec 2023 11:53:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 19:03:27.846300
• Title: FALCON: Feature-Label Constrained Graph Net Collapse for Memory Efficient GNNs
• Title（参考訳）: FALCON: メモリ効率の良いGNNのための特徴ラベル制約付きグラフネット崩壊
• Authors: Christopher Adnel and Islem Rekik
• Abstract要約: グラフニューラルネットワーク(GNN)は、相互接続されたデータセットによる機械学習の新しい時代の幕を閉じた。 ほとんどのGNNは、数千万のノードを持つ巨大で複雑なネットワークを含む現実世界のアプリケーションではスケールできない。 本稿では,これらの制約に対処するため,Feature-Label Constrained graph Net collapse, FALCONを提案する。
• 参考スコア（独自算出の注目度）: 6.572149681197959
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph Neural Network (GNN) ushered in a new era of machine learning with interconnected datasets. While traditional neural networks can only be trained on independent samples, GNN allows for the inclusion of inter-sample interactions in the training process. This gain, however, incurs additional memory cost, rendering most GNNs unscalable for real-world applications involving vast and complicated networks with tens of millions of nodes (e.g., social circles, web graphs, and brain graphs). This means that storing the graph in the main memory can be difficult, let alone training the GNN model with significantly less GPU memory. While much of the recent literature has focused on either mini-batching GNN methods or quantization, graph reduction methods remain largely scarce. Furthermore, present graph reduction approaches have several drawbacks. First, most graph reduction focuses only on the inference stage (e.g., condensation and distillation) and requires full graph GNN training, which does not reduce training memory footprint. Second, many methods focus solely on the graph's structural aspect, ignoring the initial population feature-label distribution, resulting in a skewed post-reduction label distribution. Here, we propose a Feature-Label COnstrained graph Net collapse, FALCON, to address these limitations. Our three core contributions lie in (i) designing FALCON, a topology-aware graph reduction technique that preserves feature-label distribution; (ii) implementation of FALCON with other memory reduction methods (i.e., mini-batched GNN and quantization) for further memory reduction; (iii) extensive benchmarking and ablation studies against SOTA methods to evaluate FALCON memory reduction. Our extensive results show that FALCON can significantly collapse various public datasets while achieving equal prediction quality across GNN models. Code: https://github.com/basiralab/FALCON
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、相互接続されたデータセットによる機械学習の新しい時代の幕開けとなった。 従来のニューラルネットワークは独立したサンプルでのみトレーニングできるが、GNNはトレーニングプロセスにサンプル間インタラクションを組み込むことができる。 しかし、これによりメモリコストが増大し、多くのGNNは数千万のノード(例えば、ソーシャルサークル、Webグラフ、脳グラフ)を持つ巨大で複雑なネットワークを含む現実世界のアプリケーションではスケールできない。 これは、GPUメモリが大幅に少ないGNNモデルをトレーニングするだけでも、グラフをメインメモリに格納することが難しいことを意味する。 近年の文献の多くは、GNN法や量子化に重点を置いているが、グラフの削減方法はほとんどない。 さらに、現在のグラフ削減アプローチにはいくつかの欠点がある。 まず、ほとんどのグラフ還元は推論段階(例えば凝縮と蒸留)のみに焦点を当て、完全なグラフgnnトレーニングを必要とするため、トレーニングメモリフットプリントは減少しない。 第二に、多くの手法はグラフの構造的側面にのみ焦点をあて、初期個体群の特徴-ラベル分布を無視し、歪んだ後ラベル分布をもたらす。 本稿では,これらの制約に対処するため,Feature-Label COnstrained graph Net collapse, FALCONを提案する。 私たちの3つの中心となる貢献は (i)機能ラベル分布を保存するトポロジー対応グラフ削減技術であるファルコンの設計 (II)FALCONと他のメモリ削減手法(ミニバッチGNNと量子化)を併用して、メモリ削減を図ること。 3) FALCONメモリ削減評価のためのSOTA法に対する広範なベンチマークおよびアブレーション研究。 以上の結果から,FALCONはGNNモデル間で同等の予測品質を達成しつつ,様々な公開データセットを著しく崩壊させることができることがわかった。 コード:https://github.com/basiralab/FALCON

関連論文リスト

• Sketch-GNN: Scalable Graph Neural Networks with Sublinear Training Complexity [30.2972965458946]
  グラフネットワーク(GNN)はノード分類などのグラフ学習問題に広く適用されている。 GNNの基盤となるグラフをより大きなサイズにスケールアップする場合、完全なグラフをトレーニングするか、あるいは完全なグラフの隣接とノードのメモリへの埋め込みを維持せざるを得ません。 本稿では,学習時間と記憶量がグラフサイズに比例して増加するスケッチベースアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-21T18:22:11Z)
• CATGNN: Cost-Efficient and Scalable Distributed Training for Graph Neural Networks [7.321893519281194]
  既存の分散システムは、グラフパーティショニングのためにメモリ内のグラフ全体をロードします。 低コストでスケーラブルな分散GNNトレーニングシステムであるCATGNNを提案する。 また、分散GNNトレーニングのためのSPRingという新しいストリーミング分割アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-02T20:55:39Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• $\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
  グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。 本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
  論文  参考訳（メタデータ） (2023-02-01T02:54:35Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
  本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。 グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
  論文  参考訳（メタデータ） (2021-02-12T21:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。