論文の概要: LightGNN: Simple Graph Neural Network for Recommendation
- arxiv url: http://arxiv.org/abs/2501.03228v2
- Date: Tue, 07 Jan 2025 04:05:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-08 12:28:59.598115
- Title: LightGNN: Simple Graph Neural Network for Recommendation
- Title（参考訳）: LightGNN:レコメンデーションのためのシンプルなグラフニューラルネットワーク
- Authors: Guoxuan Chen, Lianghao Xia, Chao Huang,
- Abstract要約: グラフニューラルネットワーク(GNN)は、協調的なレコメンデーションにおいて優れたパフォーマンスを示している。
既存のGNNパラダイムは、大規模でノイズの多い実世界のデータセットを扱う場合、スケーラビリティと堅牢性の課題に直面している。
軽量・蒸留方式のGNNプルーニングフレームワークであるLightGNNについて述べる。
- 参考スコア（独自算出の注目度）: 14.514770044236375
- License:
- Abstract: Graph neural networks (GNNs) have demonstrated superior performance in collaborative recommendation through their ability to conduct high-order representation smoothing, effectively capturing structural information within users' interaction patterns. However, existing GNN paradigms face significant challenges in scalability and robustness when handling large-scale, noisy, and real-world datasets. To address these challenges, we present LightGNN, a lightweight and distillation-based GNN pruning framework designed to substantially reduce model complexity while preserving essential collaboration modeling capabilities. Our LightGNN framework introduces a computationally efficient pruning module that adaptively identifies and removes redundant edges and embedding entries for model compression. The framework is guided by a resource-friendly hierarchical knowledge distillation objective, whose intermediate layer augments the observed graph to maintain performance, particularly in high-rate compression scenarios. Extensive experiments on public datasets demonstrate LightGNN's effectiveness, significantly improving both computational efficiency and recommendation accuracy. Notably, LightGNN achieves an 80% reduction in edge count and 90% reduction in embedding entries while maintaining performance comparable to more complex state-of-the-art baselines. The implementation of our LightGNN framework is available at the github repository: https://github.com/HKUDS/LightGNN.
- Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、高次表現のスムース化を実行し、ユーザのインタラクションパターン内の構造情報を効果的にキャプチャすることで、コラボレーションレコメンデーションにおいて優れたパフォーマンスを示している。
しかし、既存のGNNパラダイムは、大規模でノイズの多い実世界のデータセットを扱う場合、スケーラビリティと堅牢性において大きな課題に直面している。
これらの課題に対処するため,本研究では,軽量かつ蒸留方式のGNNプルーニングフレームワークであるLightGNNについて紹介する。
我々のLightGNNフレームワークは、冗長エッジを適応的に識別し、モデル圧縮のための埋め込みエントリを除去する計算効率の良いプルーニングモジュールを導入している。
フレームワークはリソースフレンドリな階層的な知識蒸留目標によってガイドされ、中間層は、特に高速圧縮シナリオにおいて、観測されたグラフを増強してパフォーマンスを維持する。
公開データセットに関する大規模な実験は、LightGNNの有効性を示し、計算効率とレコメンデーション精度の両方を大幅に改善した。
特に、LightGNNは、より複雑な最先端のベースラインに匹敵するパフォーマンスを維持しながら、エッジカウントの80%の削減と埋め込みエントリの90%の削減を実現している。
LightGNNフレームワークの実装は、githubリポジトリで利用可能です。
関連論文リスト
- Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets [3.0894823679470087]
本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。
高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
論文 参考訳（メタデータ） (2023-12-06T02:16:44Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - GNN at the Edge: Cost-Efficient Graph Neural Network Processing over
Distributed Edge Servers [24.109721494781592]
グラフニューラルネットワーク(GNN)はまだ探索中であり、その広範な採用に対する大きな違いを示している。
本稿では,多層ヘテロジニアスエッジネットワーク上での分散GNN処理のコスト最適化について検討する。
提案手法は, 高速収束速度で95.8%以上のコスト削減を行い, デファクトベースラインよりも優れた性能が得られることを示す。
論文 参考訳（メタデータ） (2022-10-31T13:03:16Z) - Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。
私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。
我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
論文 参考訳（メタデータ） (2022-09-04T06:45:33Z) - Robust Graph Neural Networks using Weighted Graph Laplacian [1.8292714902548342]
グラフニューラルネットワーク(GNN)は、入力データにおけるノイズや敵攻撃に対して脆弱である。
重み付きラプラシアンGNN(RWL-GNN)として知られるGNNの強化のための汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2022-08-03T05:36:35Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳（メタデータ） (2022-07-18T14:23:31Z) - Efficient and effective training of language and graph neural network
models [36.00479096375565]
我々は,大規模言語モデルとグラフニューラルネットワークを協調的に学習する,効率的な言語モデルGNN(LM-GNN)を提案する。
本フレームワークの有効性は、BERTモデルの段階的微調整をまず異種グラフ情報に適用し、次にGNNモデルを用いて達成する。
我々は,LM-GNNフレームワークを異なるデータセットの性能で評価し,提案手法の有効性を示す。
論文 参考訳（メタデータ） (2022-06-22T00:23:37Z) - EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。
この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。
EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文 参考訳（メタデータ） (2022-02-22T08:16:58Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳（メタデータ） (2020-11-13T18:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。