論文の概要: PromptGCN: Bridging Subgraph Gaps in Lightweight GCNs

• arxiv url: http://arxiv.org/abs/2410.10089v1
• Date: Mon, 14 Oct 2024 02:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 03:14:03.562819
• Title: PromptGCN: Bridging Subgraph Gaps in Lightweight GCNs
• Title（参考訳）: PromptGCN:軽量GCNにサブグラフギャップを埋める
• Authors: Shengwei Ji, Yujie Tian, Fei Liu, Xinlu Li, Le Wu,
• Abstract要約: グラフ畳み込みネットワーク(GCN)は、ソーシャルネットワークやレコメンデーションシステムなどのグラフベースのアプリケーションで広く使われている。 フルバッチGCNの大規模グラフやディープアグリゲーション層は、大きなGPUメモリを消費する。 本稿では,サブグラフ間のギャップを埋める新しいプロンプトベース軽量GCNモデルであるPromptGCNを提案する。
• 参考スコア（独自算出の注目度）: 11.713439754949015
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCNs) are widely used in graph-based applications, such as social networks and recommendation systems. Nevertheless, large-scale graphs or deep aggregation layers in full-batch GCNs consume significant GPU memory, causing out of memory (OOM) errors on mainstream GPUs (e.g., 29GB memory consumption on the Ogbnproducts graph with 5 layers). The subgraph sampling methods reduce memory consumption to achieve lightweight GCNs by partitioning the graph into multiple subgraphs and sequentially training GCNs on each subgraph. However, these methods yield gaps among subgraphs, i.e., GCNs can only be trained based on subgraphs instead of global graph information, which reduces the accuracy of GCNs. In this paper, we propose PromptGCN, a novel prompt-based lightweight GCN model to bridge the gaps among subgraphs. First, the learnable prompt embeddings are designed to obtain global information. Then, the prompts are attached into each subgraph to transfer the global information among subgraphs. Extensive experimental results on seven largescale graphs demonstrate that PromptGCN exhibits superior performance compared to baselines. Notably, PromptGCN improves the accuracy of subgraph sampling methods by up to 5.48% on the Flickr dataset. Overall, PromptGCN can be easily combined with any subgraph sampling method to obtain a lightweight GCN model with higher accuracy.
• Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、ソーシャルネットワークやレコメンデーションシステムなどのグラフベースのアプリケーションで広く使われている。 それでも、フルバッチGCNの大規模グラフやディープアグリゲーション層は、重要なGPUメモリを消費し、メインストリームのGPUではメモリ不足(OOM)エラーを引き起こす(例:5層のOgbnproductsグラフでは29GBのメモリ消費)。 グラフを複数のサブグラフに分割し,各サブグラフ上で順次GCNを訓練することにより,軽量なGCNを実現するためのメモリ消費を削減する。 しかし、これらの手法はグラフ間のギャップを生じさせ、すなわちGCNはグローバルグラフ情報の代わりにサブグラフに基づいてのみ訓練できるため、GCNの精度は低下する。 本稿では,サブグラフ間のギャップを埋める新しいプロンプトベース軽量GCNモデルであるPromptGCNを提案する。 まず,グローバルな情報を得るために,学習可能なプロンプト埋め込みを設計する。 そして、各サブグラフにプロンプトをアタッチして、サブグラフ間でグローバル情報を転送する。 7つの大規模グラフに対する大規模な実験結果から, PromptGCNはベースラインよりも優れた性能を示した。 特に、PromptGCNはFlickrデータセットで5.48%の精度でサブグラフサンプリングの精度を向上させる。 全体として、PromptGCNは任意のサブグラフサンプリング法と簡単に組み合わせて、より高精度な軽量GCNモデルを得ることができる。

関連論文リスト

• Beyond Graph Convolutional Network: An Interpretable Regularizer-centered Optimization Framework [12.116373546916078]
  グラフ畳み込みネットワーク(GCN)は、性能向上と強力な一般化により、広く注目を集めている。 本稿では,ほとんどのGCNを解釈可能な正規化器中心最適化フレームワークを提案する。 提案フレームワークでは,グラフデータからトポロジとセマンティック構造を捉えるために,二重正規化グラフ畳み込みネットワーク(dubed tsGCN)を考案した。
  論文  参考訳（メタデータ） (2023-01-11T05:51:33Z)
• A Comprehensive Study on Large-Scale Graph Training: Benchmarking and Rethinking [124.21408098724551]
  グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である 本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。 提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
  論文  参考訳（メタデータ） (2022-10-14T03:43:05Z)
• BNS-GCN: Efficient Full-Graph Training of Graph Convolutional Networks with Boundary Node Sampling [25.32242812045678]
  本稿では,BNS-GCNという,ランダム境界ノードサンプリングを併用して,効率よくスケーラブルな分散GCNトレーニングを実現する,シンプルで効果的なBNS-GCNを提案する。 BNS-GCNの有効性を一貫して検証し、スループットを最大16.2倍にし、メモリ使用量を最大58%削減し、フルグラフの精度を維持した。
  論文  参考訳（メタデータ） (2022-03-21T13:44:37Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Distributed Optimization of Graph Convolutional Network using Subgraph Variance [8.510726499008204]
  グラフ拡張に基づく分散GCNフレームワーク(GAD)を提案する。 GADには、GAD-PartitionとGAD-rの2つの主要コンポーネントがある。 我々のフレームワークは通信オーバーヘッドを50%削減し、最先端手法と比較して収束速度(2X)と精度(0.45%)をわずかに向上させる。
  論文  参考訳（メタデータ） (2021-10-06T18:01:47Z)
• MG-GCN: Fast and Effective Learning with Mix-grained Aggregators for Training Large Graph Convolutional Networks [20.07942308916373]
  グラフ畳み込みネットワーク(GCN)は、隣人層の情報を層ごとに集約することでノードの埋め込みを生成する。 GCNの高計算とメモリコストにより、大きなグラフのトレーニングが不可能になる。 MG-GCNと呼ばれる新しいモデルでは、精度、トレーニング速度、収束速度、メモリコストの点で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-11-17T14:51:57Z)
• Bi-GCN: Binary Graph Convolutional Network [57.733849700089955]
  ネットワークパラメータと入力ノードの特徴を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均30倍のメモリ消費を削減でき、推論速度を平均47倍に加速できる。
  論文  参考訳（メタデータ） (2020-10-15T07:26:23Z)
• Simple and Deep Graph Convolutional Networks [63.76221532439285]
  グラフ畳み込みネットワーク(GCN)は、グラフ構造化データに対する強力なディープラーニングアプローチである。 その成功にもかかわらず、現在のGCNモデルは、エムの過度に滑らかな問題のため、ほとんどが浅くなっている。 本稿では,2つの単純かつ効果的な手法を用いて,バニラGCNモデルを拡張したGCNIIを提案する。
  論文  参考訳（メタデータ） (2020-07-04T16:18:06Z)
• Subgraph Neural Networks [14.222887950206662]
  本稿では,不整合部分グラフ表現を学習するためのサブグラフニューラルネットワークSubGNNを紹介する。 SubGNNは、挑戦的なバイオメディカルデータセットで非常によく機能する。
  論文  参考訳（メタデータ） (2020-06-18T13:54:30Z)
• DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
  グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。 非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。 本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
  論文  参考訳（メタデータ） (2020-06-13T23:00:22Z)
• L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks [118.37805042816784]
  グラフ畳み込みネットワーク(GCN)は、多くのアプリケーションで人気が高まっているが、大きなグラフデータセットをトレーニングするのは依然として難しい。 本稿では,GCN (L-GCN) のための新しいレイヤワイドトレーニングフレームワークを提案する。 実験の結果、L-GCNは少なくとも1桁の精度で最先端よりも高速であり、メモリ使用量はデータセットのサイズに依存しないことがわかった。
  論文  参考訳（メタデータ） (2020-03-30T16:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。