論文の概要: Never Skip a Batch: Continuous Training of Temporal GNNs via Adaptive Pseudo-Supervision

• arxiv url: http://arxiv.org/abs/2505.12526v1
• Date: Sun, 18 May 2025 19:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.285389
• Title: Never Skip a Batch: Continuous Training of Temporal GNNs via Adaptive Pseudo-Supervision
• Title（参考訳）: Never Skip a Batch:Adaptive Pseudo-Supervisionによる一時的GNNの継続的なトレーニング
• Authors: Alexander Panyshev, Dmitry Vinichenko, Oleg Travkin, Roman Alferov, Alexey Zaytsev,
• Abstract要約: History-Averaged Labels (HAL) は、履歴ラベル分布から派生した擬似ターゲットによるトレーニングバッチを動的に強化する手法である。 HALはTGNv2のトレーニングを最大15倍加速し、競争性能を維持している。 この研究は、時間グラフ学習における空間性を示す効率的な、軽量で、アーキテクチャに依存しない、理論的に動機づけられたソリューションを提供する。
• 参考スコア（独自算出の注目度）: 41.50778579564618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Temporal Graph Networks (TGNs), while being accurate, face significant training inefficiencies due to irregular supervision signals in dynamic graphs, which induce sparse gradient updates. We first theoretically establish that aggregating historical node interactions into pseudo-labels reduces gradient variance, accelerating convergence. Building on this analysis, we propose History-Averaged Labels (HAL), a method that dynamically enriches training batches with pseudo-targets derived from historical label distributions. HAL ensures continuous parameter updates without architectural modifications by converting idle computation into productive learning steps. Experiments on the Temporal Graph Benchmark (TGB) validate our findings and an assumption about slow change of user preferences: HAL accelerates TGNv2 training by up to 15x while maintaining competitive performance. Thus, this work offers an efficient, lightweight, architecture-agnostic, and theoretically motivated solution to label sparsity in temporal graph learning.
• Abstract（参考訳）: 時間グラフネットワーク(TGN)は正確性はあるものの、ダイナミックグラフにおける不規則な監視信号によるトレーニングの非効率さに直面し、緩やかな勾配更新を引き起こす。 まず、歴史的ノードの相互作用を擬似ラベルに集約することで、勾配のばらつきを減らし、収束を加速する。 本研究では,ヒストリー平均ラベル(History-Averaged Labels, HAL)を提案する。 HALは、アイドル計算を生産的な学習ステップに変換することで、アーキテクチャの変更なしに、継続的なパラメータ更新を保証する。 HALはTGNv2トレーニングを最大15倍加速し、競争性能を維持します。 したがって、この研究は、時間グラフ学習における空間性を示す効率的な、軽量で、アーキテクチャに依存しない、理論的に動機づけられたソリューションを提供する。

関連論文リスト

• Do We Really Need Graph Convolution During Training? Light Post-Training Graph-ODE for Efficient Recommendation [34.93725892725111]
  トレーニングレコメンデータシステム(RecSys)におけるグラフ畳み込みネットワーク(GCNs)は、絶え間なく懸念されてきた。 本稿では,学習段階におけるグラフ畳み込みの必要性を批判的に考察する。 光後学習グラフ正規分方程式(LightGODE)という革新的な方法を導入する。
  論文  参考訳（メタデータ） (2024-07-26T17:59:32Z)
• Dynamic Graph Unlearning: A General and Efficient Post-Processing Method via Gradient Transformation [24.20087360102464]
  動的グラフアンラーニングを初めて研究し、DGNNアンラーニングを実装するための効率的で効率的で汎用的で後処理手法を提案する。 提案手法は,将来的な未学習要求を処理できる可能性があり,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Adapting to Change: Robust Counterfactual Explanations in Dynamic Data Landscapes [9.943459106509687]
  我々は、新しい半教師付きグラフカウンターファクトExplainer(GCE)方法論、ダイナミックGRAphカウンタファクトExplainer(DyGRACE)を紹介する。 これは、データ配布に関する初期知識を活用して、有効な偽物を探すと同時に、後続の時間ステップにおいて、潜在的に時代遅れな決定関数からの情報を使用することを避けます。 DyGRACEは非常に効果的でドリフト検出器として機能し、反復間の再構成誤差の違いに基づいて分布ドリフトを識別する。
  論文  参考訳（メタデータ） (2023-08-04T14:41:03Z)
• Fast and Effective GNN Training through Sequences of Random Path Graphs [20.213843086649014]
  本稿では,ノード分類タスクにおいて,GNNをトレーニングするためのスケーラブルなフレームワークであるGERNを紹介する。 提案手法は,経路グラフに好適に変換された無作為な散在木列のGNN重みを漸進的に洗練する。 これらの経路グラフのスパース性は、GNN訓練の計算負担を大幅に軽減する。
  論文  参考訳（メタデータ） (2023-06-07T23:12:42Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Causal Incremental Graph Convolution for Recommender System Retraining [89.25922726558875]
  実世界のレコメンデーションシステムは、新しいデータを維持するために定期的に再トレーニングする必要がある。 本研究では,GCNに基づくレコメンデータモデルを用いて,グラフ畳み込みネットワーク(GCN)を効率的に再学習する方法を検討する。
  論文  参考訳（メタデータ） (2021-08-16T04:20:09Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。