論文の概要: Dynamic Graph Representation Learning via Graph Transformer Networks

• arxiv url: http://arxiv.org/abs/2111.10447v1
• Date: Fri, 19 Nov 2021 21:44:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-26 07:13:39.555376
• Title: Dynamic Graph Representation Learning via Graph Transformer Networks
• Title（参考訳）: グラフトランスフォーマネットワークによる動的グラフ表現学習
• Authors: Weilin Cong, Yanhong Wu, Yuandong Tian, Mengting Gu, Yinglong Xia, Mehrdad Mahdavi, Chun-cheng Jason Chen
• Abstract要約: 動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
• 参考スコア（独自算出の注目度）: 41.570839291138114
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic graph representation learning is an important task with widespread applications. Previous methods on dynamic graph learning are usually sensitive to noisy graph information such as missing or spurious connections, which can yield degenerated performance and generalization. To overcome this challenge, we propose a Transformer-based dynamic graph learning method named Dynamic Graph Transformer (DGT) with spatial-temporal encoding to effectively learn graph topology and capture implicit links. To improve the generalization ability, we introduce two complementary self-supervised pre-training tasks and show that jointly optimizing the two pre-training tasks results in a smaller Bayesian error rate via an information-theoretic analysis. We also propose a temporal-union graph structure and a target-context node sampling strategy for efficient and scalable training. Extensive experiments on real-world datasets illustrate that DGT presents superior performance compared with several state-of-the-art baselines.
• Abstract（参考訳）: 動的グラフ表現学習は幅広い応用において重要な課題である。 動的グラフ学習における従来の手法は、通常、欠落や急激な接続のようなノイズの多いグラフ情報に敏感であり、劣化した性能と一般化をもたらす。 この課題を克服するために,空間時空間符号化を用いた動的グラフ学習法であるdynamic graph transformer (dgt)を提案し,グラフトポロジーを効果的に学習し,暗黙リンクをキャプチャする。 一般化能力を向上させるために,2つの補完的自己指導型事前学習タスクを導入し,2つの事前学習タスクを共同最適化することで,情報理論解析によりベイズ誤差率を小さくすることを示す。 また,効率的かつスケーラブルな学習のための時間結合グラフ構造とターゲットコンテキストノードサンプリング戦略を提案する。 実世界のデータセットに関する広範な実験は、dgtがいくつかの最先端のベースラインよりも優れたパフォーマンスを示している。

関連論文リスト

• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• ENGAGE: Explanation Guided Data Augmentation for Graph Representation Learning [34.23920789327245]
  本稿では,グラフのキー部分を保存するために,コントラスト的な拡張過程を導出するENGAGEを提案する。 また、構造情報と特徴情報を摂動するグラフ上に2つのデータ拡張スキームを設計する。
  論文  参考訳（メタデータ） (2023-07-03T14:33:14Z)
• Hierarchical Transformer for Scalable Graph Learning [22.462712609402324]
  Graph Transformerは、グラフ表現学習のためのベンチマークで最先端のパフォーマンスを実証した。 グローバルな自己認識機構の複雑さは、より大きなグラフに適用する際のフルバッチトレーニングの課題となる。 これらの課題に対する解決策として,階層型スケーラブルグラフ変換器(HSGT)を紹介した。 HSGTはTransformerアーキテクチャを大規模グラフ上でノード表現学習タスクに拡張し、高い性能を維持している。
  論文  参考訳（メタデータ） (2023-05-04T14:23:22Z)
• EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning [92.71579608528907]
  本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。 EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
  論文  参考訳（メタデータ） (2023-03-22T06:35:08Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Anomaly Detection in Dynamic Graphs via Transformer [30.926884264054042]
  DYnamic graph(TADDY)のためのトランスフォーマーを用いた新しい異常検出フレームワークを提案する。 本フレームワークは,進化するグラフストリームにおいて,各ノードの構造的役割と時間的役割をよりよく表現するための包括的ノード符号化戦略を構築する。 提案するTADDYフレームワークは,4つの実世界のデータセットに対して,最先端の手法よりも大きなマージンで優れている。
  論文  参考訳（メタデータ） (2021-06-18T02:27:19Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。