論文の概要: TASER: Temporal Adaptive Sampling for Fast and Accurate Dynamic Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2402.05396v1
• Date: Thu, 8 Feb 2024 04:16:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 16:32:08.465800
• Title: TASER: Temporal Adaptive Sampling for Fast and Accurate Dynamic Graph Representation Learning
• Title（参考訳）: taser: 高速かつ高精度な動的グラフ表現学習のための時間適応サンプリング
• Authors: Gangda Deng, Hongkuan Zhou, Hanqing Zeng, Yinglong Xia, Christopher Leung, Jianbo Li, Rajgopal Kannan, Viktor Prasanna
• Abstract要約: TGNN(Temporal Graph Neural Networks)は、様々なハイインパクトアプリケーションで最先端の性能を実証している。 TGNNは、時間遅延リンクや歪んだ相互作用分布のような実世界の動的グラフで見られる一般的なノイズの傾向にある。 本稿では,TGNNの精度,効率,スケーラビリティに最適化された最初の適応サンプリング手法であるTASERを提案する。
• 参考スコア（独自算出の注目度）: 16.103499929460128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, Temporal Graph Neural Networks (TGNNs) have demonstrated state-of-the-art performance in various high-impact applications, including fraud detection and content recommendation. Despite the success of TGNNs, they are prone to the prevalent noise found in real-world dynamic graphs like time-deprecated links and skewed interaction distribution. The noise causes two critical issues that significantly compromise the accuracy of TGNNs: (1) models are supervised by inferior interactions, and (2) noisy input induces high variance in the aggregated messages. However, current TGNN denoising techniques do not consider the diverse and dynamic noise pattern of each node. In addition, they also suffer from the excessive mini-batch generation overheads caused by traversing more neighbors. We believe the remedy for fast and accurate TGNNs lies in temporal adaptive sampling. In this work, we propose TASER, the first adaptive sampling method for TGNNs optimized for accuracy, efficiency, and scalability. TASER adapts its mini-batch selection based on training dynamics and temporal neighbor selection based on the contextual, structural, and temporal properties of past interactions. To alleviate the bottleneck in mini-batch generation, TASER implements a pure GPU-based temporal neighbor finder and a dedicated GPU feature cache. We evaluate the performance of TASER using two state-of-the-art backbone TGNNs. On five popular datasets, TASER outperforms the corresponding baselines by an average of 2.3% in Mean Reciprocal Rank (MRR) while achieving an average of 5.1x speedup in training time.
• Abstract（参考訳）: 近年,tgnn(temporal graph neural network)が,不正検出やコンテンツ推薦など,さまざまなハイインパクトアプリケーションにおいて最先端のパフォーマンスを示している。 TGNNの成功にもかかわらず、タイムデプリケートリンクや歪んだ相互作用分布のような現実の動的グラフに見られる一般的なノイズに傾向がある。 ノイズはTGNNの精度を著しく損なう2つの重要な問題を引き起こす:(1)モデルが劣る相互作用によって制御され、(2)ノイズ入力は集約されたメッセージに高いばらつきをもたらす。 しかし、現在のTGNN復調技術は各ノードの多様かつ動的ノイズパターンを考慮していない。 さらに、より多くの隣人をトラバースすることで発生する、超過度のミニバッチ生成オーバーヘッドにも悩まされる。 高速かつ正確なTGNNの治療法は、時間適応サンプリングにあると考えています。 本研究では,TGNNの精度,効率,スケーラビリティに最適化された最初の適応サンプリング手法であるTASERを提案する。 TASERは、過去の相互作用の文脈的、構造的、時間的特性に基づいて、トレーニングダイナミクスと時間的隣人選択に基づいてミニバッチ選択を適用する。 ミニバッチ生成のボトルネックを軽減するため、TASERは純粋なGPUベースの時間的隣のファインダと専用のGPU機能キャッシュを実装している。 2つの最先端のバックボーンTGNNを用いたTASERの性能評価を行った。 5つの一般的なデータセットにおいて、TASERは平均相反ランク(MRR)で平均2.3%のベースラインを上回り、トレーニング時間で平均5.1倍のスピードアップを達成する。

関連論文リスト

• TCGPN: Temporal-Correlation Graph Pre-trained Network for Stock Forecasting [1.864621482724548]
  本稿では,これらの制約に対処するため,TCGPN(Temporal-Correlation Graph Pre-trained Network)と呼ばれる新しい手法を提案する。 TCGPNはテンポラル相関融合エンコーダを用いて,時間的および相関的な事前学習タスクを慎重に設計した混合表現と事前学習を行う。 CSI300とCSI500は、最小限の周期性を示す。
  論文  参考訳（メタデータ） (2024-07-26T05:27:26Z)
• Adaptive Least Mean pth Power Graph Neural Networks [5.4004917284050835]
  オンライングラフ信号推定のための適応フィルタとグラフニューラルネットワークを組み合わせた普遍的なフレームワークを提案する。 LMP-GNNは、ノイズや観察の欠如、オンライン更新機能を扱う際の適応フィルタリングの利点を保っている。 4つの異なる雑音分布下での2つの実世界の温度グラフとトラヒックグラフに関する実験結果から,提案したLMP-GNNの有効性とロバスト性が確認された。
  論文  参考訳（メタデータ） (2024-05-07T08:28:51Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• PTP: Boosting Stability and Performance of Prompt Tuning with Perturbation-Based Regularizer [94.23904400441957]
  損失景観を平滑化できる摂動型正規化器を即時チューニングに導入する。 我々は乱数ノイズベースと逆数ベースを含む2種類の摂動型正規化器を設計する。 我々の新しいアルゴリズムは,SuperGLUEベンチマークとFewGLUEベンチマークでそれぞれ1.94%,2.34%の最先端のプロンプトチューニング手法を改善した。
  論文  参考訳（メタデータ） (2023-05-03T20:30:51Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Distributed Graph Neural Network Training with Periodic Historical Embedding Synchronization [9.503080586294406]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワーク、レコメンダシステム、ナレッジグラフなどの様々なアプリケーションで広く使われている。 従来のサンプリングベースの手法は、エッジとノードをドロップすることでGNNを加速し、グラフの整合性とモデル性能を損なう。 本稿では,新しい分散GNNトレーニングフレームワークであるDIstributed Graph Embedding SynchronizaTion (DIGEST)を提案する。
  論文  参考訳（メタデータ） (2022-05-31T18:44:53Z)
• AEGNN: Asynchronous Event-based Graph Neural Networks [54.528926463775946]
  イベントベースのグラフニューラルネットワークは、標準のGNNを一般化して、イベントを"進化的"時間グラフとして処理する。 AEGNNは同期入力で容易に訓練でき、テスト時に効率的な「非同期」ネットワークに変換できる。
  論文  参考訳（メタデータ） (2022-03-31T16:21:12Z)
• Accelerating Training and Inference of Graph Neural Networks with Fast Sampling and Pipelining [58.10436813430554]
  グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。 我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。 本稿では,これらのボトルネックを緩和する一連の改良点について述べる。 また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
  論文  参考訳（メタデータ） (2021-10-16T02:41:35Z)
• Combining Label Propagation and Simple Models Out-performs Graph Neural Networks [52.121819834353865]
  多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。 これをC&S(Correct and Smooth)と呼ぶ。 我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
  論文  参考訳（メタデータ） (2020-10-27T02:10:52Z)
• FATNN: Fast and Accurate Ternary Neural Networks [89.07796377047619]
  Ternary Neural Networks (TNN) は、完全な精度のニューラルネットワークよりもはるかに高速で、電力効率が高いため、多くの注目を集めている。 そこで本研究では、3次内積の計算複雑性を2。 性能ギャップを軽減するために,実装に依存した3次量子化アルゴリズムを精巧に設計する。
  論文  参考訳（メタデータ） (2020-08-12T04:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。