論文の概要: Towards Better Dynamic Graph Learning: New Architecture and Unified Library

• arxiv url: http://arxiv.org/abs/2303.13047v3
• Date: Thu, 19 Oct 2023 03:07:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 20:39:01.751359
• Title: Towards Better Dynamic Graph Learning: New Architecture and Unified Library
• Title（参考訳）: 動的グラフ学習の改善に向けて: 新しいアーキテクチャと統一ライブラリ
• Authors: Le Yu, Leilei Sun, Bowen Du, Weifeng Lv
• Abstract要約: DyGFormerは、動的グラフ学習のためのTransformerベースのアーキテクチャである。 DyGLibは、標準のトレーニングパイプラインとコーディングインターフェースを備えた統一ライブラリである。
• 参考スコア（独自算出の注目度）: 29.625205125350313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose DyGFormer, a new Transformer-based architecture for dynamic graph learning. DyGFormer is conceptually simple and only needs to learn from nodes' historical first-hop interactions by: (1) a neighbor co-occurrence encoding scheme that explores the correlations of the source node and destination node based on their historical sequences; (2) a patching technique that divides each sequence into multiple patches and feeds them to Transformer, allowing the model to effectively and efficiently benefit from longer histories. We also introduce DyGLib, a unified library with standard training pipelines, extensible coding interfaces, and comprehensive evaluating protocols to promote reproducible, scalable, and credible dynamic graph learning research. By performing exhaustive experiments on thirteen datasets for dynamic link prediction and dynamic node classification tasks, we find that DyGFormer achieves state-of-the-art performance on most of the datasets, demonstrating its effectiveness in capturing nodes' correlations and long-term temporal dependencies. Moreover, some results of baselines are inconsistent with previous reports, which may be caused by their diverse but less rigorous implementations, showing the importance of DyGLib. All the used resources are publicly available at https://github.com/yule-BUAA/DyGLib.
• Abstract（参考訳）: 動的グラフ学習のための新しいトランスフォーマーアーキテクチャであるDyGFormerを提案する。 DyGFormerは概念的にはシンプルで,(1)ソースノードと宛先ノードの相関関係を探索する隣接する共起符号化方式,(2)各シーケンスを複数のパッチに分割してTransformerにフィードするパッチ技術により,モデルがより長い履歴から効果的に利益を得ることを可能にする。 また、標準的なトレーニングパイプライン、拡張可能なコーディングインターフェース、再現可能でスケーラブルで信頼性の高い動的グラフ学習研究を促進する包括的な評価プロトコルを備えた統合ライブラリDyGLibも導入した。 動的リンク予測および動的ノード分類タスクのための13のデータセットに対する徹底的な実験を行うことで、DyGFormerは、ほとんどのデータセットで最先端のパフォーマンスを達成し、ノードの相関関係と長期の時間的依存関係をキャプチャする効果を示す。 さらに、ベースラインの結果は、DyGLibの重要性を示す、多様だが厳格でない実装によって引き起こされた、以前のレポートと矛盾するものもある。 使用中のリソースはすべてhttps://github.com/yule-BUAA/DyGLibで公開されている。

関連論文リスト

• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Learning Long Range Dependencies on Graphs via Random Walks [6.7864586321550595]
  メッセージパッシンググラフニューラルネットワーク(GNN)は、局所的な関係を捉えるのに優れているが、グラフの長距離依存に苦慮している。 グラフ変換器(GT)はグローバルな情報交換を可能にするが、グラフを固定長ベクトルの集合として表現することでグラフ構造を単純化することが多い。 この研究は、ランダムウォークの長距離情報とローカルメッセージパッシングを組み合わせることによって、両方のアプローチの欠点を克服する新しいアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2024-06-05T15:36:57Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• SimTeG: A Frustratingly Simple Approach Improves Textual Graph Learning [131.04781590452308]
  テキストグラフ学習におけるフラストレーションに富んだアプローチであるSimTeGを提案する。 まず、下流タスクで予め訓練されたLM上で、教師付きパラメータ効率の微調整(PEFT)を行う。 次に、微調整されたLMの最後の隠れ状態を用いてノード埋め込みを生成する。
  論文  参考訳（メタデータ） (2023-08-03T07:00:04Z)
• Challenging the Myth of Graph Collaborative Filtering: a Reasoned and Reproducibility-driven Analysis [50.972595036856035]
  本稿では,6つの人気グラフと最近のグラフ推薦モデルの結果を再現するコードを提案する。 これらのグラフモデルと従来の協調フィルタリングモデルを比較する。 ユーザの近所からの情報フローを調べることにより,データセット構造における内在的特徴にどのようなモデルが影響するかを同定することを目的とする。
  論文  参考訳（メタデータ） (2023-08-01T09:31:44Z)
• An Empirical Evaluation of Temporal Graph Benchmark [1.4211059618531252]
  動的グラフライブラリ(DyGLib)をTGBに拡張することにより,時間グラフベンチマーク(TGB)の実証評価を行う。 その結果,(1) 異なるモデルでは, 過去の観測結果と一致して, 様々なデータセットに対して異なる性能を示すこと, (2) DyGLib を用いた場合の報告結果よりも, ベースラインの性能が著しく向上することが判明した。
  論文  参考訳（メタデータ） (2023-07-24T03:52:11Z)
• Instant Representation Learning for Recommendation over Large Dynamic Graphs [29.41179019520622]
  動的多重多元グラフのための新しいグラフニューラルネットワークSUPAを提案する。 新しいエッジごとに、SUPAは影響のあるサブグラフをサンプリングし、2つの対話ノードの表現を更新し、その相互作用情報をサンプリングされたサブグラフに伝達する。 SuPAをオンラインでインクリメンタルにトレーニングするために、大規模な動的グラフのシングルパストレーニングのための効率的なワークフローであるInsLearnを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:36:10Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• From Discrimination to Generation: Knowledge Graph Completion with Generative Transformer [41.69537736842654]
  我々は、知識グラフ補完を事前学習された言語モデルを用いて、シーケンスからシーケンスへ変換するGenKGCのアプローチを提案する。 本稿では,より優れた表現学習と高速推論を実現するために,関係誘導型実演と実体認識型階層デコーディングを導入する。 また、研究目的のために、新しい大規模中国の知識グラフデータセットAliopenKG500もリリースした。
  論文  参考訳（メタデータ） (2022-02-04T12:52:32Z)
• Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
  動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-19T21:44:23Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。