論文の概要: Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation
- arxiv url: http://arxiv.org/abs/2407.18910v1
- Date: Fri, 26 Jul 2024 17:59:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-29 12:39:55.400163
- Title: Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation
- Title（参考訳）: トレーニング中にグラフの畳み込みは本当に必要か?
- Authors: Weizhi Zhang, Liangwei Yang, Zihe Song, Henry Peng Zou, Ke Xu, Henry Peng Zou, Liancheng Fang, Philip S. Yu,
- Abstract要約: トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。
本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。
光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
- 参考スコア（独自算出の注目度）: 33.494637965033085
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The efficiency and scalability of graph convolution networks (GCNs) in training recommender systems (RecSys) have been persistent concerns, hindering their deployment in real-world applications. This paper presents a critical examination of the necessity of graph convolutions during the training phase and introduces an innovative alternative: the Light Post-Training Graph Ordinary-Differential-Equation (LightGODE). Our investigation reveals that the benefits of GCNs are more pronounced during testing rather than training. Motivated by this, LightGODE utilizes a novel post-training graph convolution method that bypasses the computation-intensive message passing of GCNs and employs a non-parametric continuous graph ordinary-differential-equation (ODE) to dynamically model node representations. This approach drastically reduces training time while achieving fine-grained post-training graph convolution to avoid the distortion of the original training embedding space, termed the embedding discrepancy issue. We validate our model across several real-world datasets of different scales, demonstrating that LightGODE not only outperforms GCN-based models in terms of efficiency and effectiveness but also significantly mitigates the embedding discrepancy commonly associated with deeper graph convolution layers. Our LightGODE challenges the prevailing paradigms in RecSys training and suggests re-evaluating the role of graph convolutions, potentially guiding future developments of efficient large-scale graph-based RecSys.
- Abstract（参考訳）: トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCN)の効率性とスケーラビリティは、現実のアプリケーションへの展開を妨げている。
本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に検証し,ライトポストトレーニンググラフ正規分方程式(LightGODE)という革新的な方法を提案する。
調査の結果,GCNの利点はトレーニングよりもテスト中に顕著であることが判明した。
そこでLightGODEは,GCNの計算集約的なメッセージパッシングを回避し,非パラメトリック連続グラフ常微分方程式(ODE)を用いてノード表現を動的にモデル化する,新しい学習後グラフ畳み込み手法を開発した。
このアプローチは、学習後の詳細なグラフ畳み込みを達成しつつ、元のトレーニング埋め込み空間の歪みを回避しながら、トレーニング時間を劇的に短縮する。
我々は、異なるスケールの複数の実世界のデータセットにまたがってモデルを検証し、LightGODEがGCNベースのモデルよりも効率と効率の点で優れているだけでなく、より深いグラフ畳み込み層に関連付けられた埋め込み不一致を著しく軽減することを示した。
我々のLightGODEは、RecSysトレーニングにおける一般的なパラダイムに挑戦し、グラフ畳み込みの役割を再評価し、効率的な大規模グラフベースのRecSysの開発を導く可能性を示唆しています。
関連論文リスト
- Faster Inference Time for GNNs using coarsening [1.323700980948722]
粗い手法はグラフを小さくするために使われ、計算が高速化される。
これまでの調査では、推論中にコストに対処できなかった。
本稿では, サブグラフベース手法によるGNNのスケーラビリティ向上のための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-10-19T06:27:24Z) - Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。
DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。
DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
論文 参考訳（メタデータ） (2024-05-23T10:26:18Z) - A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。
Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。
本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
論文 参考訳（メタデータ） (2024-01-05T22:22:13Z) - PUMA: Efficient Continual Graph Learning for Node Classification with Graph Condensation [49.00940417190911]
既存のグラフ表現学習モデルは、新しいグラフを学習する際に破滅的な問題に遭遇する。
本稿では,PUMA(PUdo-label guided Memory bAnkrogation)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T05:09:58Z) - Label Deconvolution for Node Representation Learning on Large-scale
Attributed Graphs against Learning Bias [75.44877675117749]
本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。
実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
論文 参考訳（メタデータ） (2023-09-26T13:09:43Z) - Fast and Effective GNN Training with Linearized Random Spanning Trees [20.73637495151938]
ノード分類タスクにおいて,GNNをトレーニングするための,より効果的でスケーラブルなフレームワークを提案する。
提案手法は, ランダムに分布する木々の広範囲に分布するGNN重みを徐々に改善する。
これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
論文 参考訳（メタデータ） (2023-06-07T23:12:42Z) - Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。
GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。
提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
論文 参考訳（メタデータ） (2022-03-03T09:53:53Z) - OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。
既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。
本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
論文 参考訳（メタデータ） (2021-12-07T16:29:10Z) - Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。
DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。
DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-19T21:44:23Z) - Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。
しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。
本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
論文 参考訳（メタデータ） (2020-01-18T09:14:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。