論文の概要: ROLAND: Graph Learning Framework for Dynamic Graphs

• arxiv url: http://arxiv.org/abs/2208.07239v1
• Date: Mon, 15 Aug 2022 14:51:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-16 13:27:48.954504
• Title: ROLAND: Graph Learning Framework for Dynamic Graphs
• Title（参考訳）: ROLAND:動的グラフのためのグラフ学習フレームワーク
• Authors: Jiaxuan You, Tianyu Du, Jure Leskovec
• Abstract要約: グラフニューラルネットワーク(GNN)は多くの実世界の静的グラフに適用されている。 既存の動的GNNには静的GNNの最先端設計が組み込まれていない。 実世界の動的グラフのための効果的なグラフ表現学習フレームワーク ROLAND を提案する。
• 参考スコア（独自算出の注目度）: 75.96510058864463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have been successfully applied to many real-world static graphs. However, the success of static graphs has not fully translated to dynamic graphs due to the limitations in model design, evaluation settings, and training strategies. Concretely, existing dynamic GNNs do not incorporate state-of-the-art designs from static GNNs, which limits their performance. Current evaluation settings for dynamic GNNs do not fully reflect the evolving nature of dynamic graphs. Finally, commonly used training methods for dynamic GNNs are not scalable. Here we propose ROLAND, an effective graph representation learning framework for real-world dynamic graphs. At its core, the ROLAND framework can help researchers easily repurpose any static GNN to dynamic graphs. Our insight is to view the node embeddings at different GNN layers as hierarchical node states and then recurrently update them over time. We then introduce a live-update evaluation setting for dynamic graphs that mimics real-world use cases, where GNNs are making predictions and being updated on a rolling basis. Finally, we propose a scalable and efficient training approach for dynamic GNNs via incremental training and meta-learning. We conduct experiments over eight different dynamic graph datasets on future link prediction tasks. Models built using the ROLAND framework achieve on average 62.7% relative mean reciprocal rank (MRR) improvement over state-of-the-art baselines under the standard evaluation settings on three datasets. We find state-of-the-art baselines experience out-of-memory errors for larger datasets, while ROLAND can easily scale to dynamic graphs with 56 million edges. After re-implementing these baselines using the ROLAND training strategy, ROLAND models still achieve on average 15.5% relative MRR improvement over the baselines.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は多くの実世界の静的グラフに適用されている。 しかしながら、静的グラフの成功は、モデル設計、評価設定、トレーニング戦略の制限のため、動的グラフに完全には変換されていない。 具体的には、既存の動的GNNには静的GNNの最先端設計は組み込まれていない。 動的GNNの現在の評価設定は、動的グラフの進化的な性質を完全に反映していない。 最後に、動的GNNの一般的な訓練方法はスケーラブルではない。 本稿では,実世界の動的グラフに対する効果的なグラフ表現学習フレームワークであるrolandを提案する。 ROLANDフレームワークの中核となるのは、静的GNNを動的グラフに簡単に再利用できることだ。 我々の洞察は、異なるGNN層に埋め込まれたノードを階層的なノード状態とみなし、時間とともに繰り返し更新することです。 次に、GNNが予測を行い、ローリングベースで更新する実世界のユースケースを模倣した動的グラフのリアルタイム評価設定を導入する。 最後に、インクリメンタルトレーニングとメタラーニングによる動的GNNのスケーラブルで効率的なトレーニング手法を提案する。 将来のリンク予測タスクにおいて,8種類の動的グラフデータセット上で実験を行う。 ROLANDフレームワークを使用して構築されたモデルは、3つのデータセットの標準的な評価設定の下で、最先端のベースラインよりも平均62.7%の平均相反ランク(MRR)を改善する。 最先端のベースラインはより大きなデータセットでメモリ外のエラーが発生し、rolandは5600万エッジの動的グラフに容易にスケールできる。 ROLANDトレーニング戦略を用いてこれらのベースラインを再実装した後も、ROLANDモデルはベースラインよりも平均15.5%の相対的なMRR改善を達成している。

関連論文リスト

• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Dynamic Graph Node Classification via Time Augmentation [15.580277876084873]
  動的グラフ上のノード分類のための時間拡張グラフ動的ニューラルネットワーク(TADGNN)フレームワークを提案する。 TADGNNは, 時間的時間的変化を時間的に捉え, 時間的時間的グラフを生成する時間拡張モジュールと, 構築した時間的時間的グラフを用いて時間的時間的表現を学習する情報伝達モジュールの2つのモジュールから構成される。 実験により,TADGNNフレームワークは,高いスケーラビリティを示しながら,静的かつ動的なSOTAGNNモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-12-07T04:13:23Z)
• Instant Graph Neural Networks for Dynamic Graphs [18.916632816065935]
  Instant Graph Neural Network (InstantGNN) を提案する。 提案手法は,時間を要する反復計算を回避し,表現の即時更新と即時予測を可能にする。 本モデルでは,既存手法よりも高精度かつ高次精度で最先端の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-03T03:27:42Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Learning to Evolve on Dynamic Graphs [5.1521870302904125]
  Learning to Evolve on Dynamic Graphs (LEDG)は、グラフ情報と時間情報を共同で学習する新しいアルゴリズムである。 LEDGはモデルに依存しないため、動的グラフ上でメッセージパッシングベースのグラフニューラルネットワーク(GNN)をトレーニングすることができる。
  論文  参考訳（メタデータ） (2021-11-13T04:09:30Z)
• Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction [123.20238648121445]
  我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
  論文  参考訳（メタデータ） (2021-10-29T19:55:12Z)
• DyGCN: Dynamic Graph Embedding with Graph Convolutional Network [25.02329024926518]
  動的グラフ畳み込みネットワーク(DyGCN)の効率的な動的グラフ埋め込み手法を提案する。 私たちのモデルは、ノードの埋め込みを時間節約とパフォーマンス保存の方法で更新できます。
  論文  参考訳（メタデータ） (2021-04-07T07:28:44Z)
• XGNN: Towards Model-Level Explanations of Graph Neural Networks [113.51160387804484]
  グラフニューラルネットワーク(GNN)は、隣の情報を集約して組み合わせることでノードの特徴を学習する。 GNNはブラックボックスとして扱われ、人間の知的な説明が欠けている。 我々はモデルレベルでGNNを解釈する新しい手法 XGNN を提案する。
  論文  参考訳（メタデータ） (2020-06-03T23:52:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。