論文の概要: HOT: Higher-Order Dynamic Graph Representation Learning with Efficient Transformers

• arxiv url: http://arxiv.org/abs/2311.18526v2
• Date: Thu, 13 Jun 2024 21:41:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 19:33:45.840550
• Title: HOT: Higher-Order Dynamic Graph Representation Learning with Efficient Transformers
• Title（参考訳）: HOT:効率的な変換器を用いた高次動的グラフ表現学習
• Authors: Maciej Besta, Afonso Claudino Catarino, Lukas Gianinazzi, Nils Blach, Piotr Nyczyk, Hubert Niewiadomski, Torsten Hoefler,
• Abstract要約: グラフ表現学習(GRL)における基本的な作業負荷は、動的リンク予測である。 このような動的設定におけるリンク予測の最近のスキームはトランスフォーマーを使用し、個々のグラフ更新を単一トークンとしてモデル化している。 本稿では,高次(HO)グラフ構造を利用して,この作業ラインを強化するモデルを提案する。 私たちの設計は、他の動的GRLワークロードに対してシームレスに拡張できます。
• 参考スコア（独自算出の注目度）: 17.116540932753345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many graph representation learning (GRL) problems are dynamic, with millions of edges added or removed per second. A fundamental workload in this setting is dynamic link prediction: using a history of graph updates to predict whether a given pair of vertices will become connected. Recent schemes for link prediction in such dynamic settings employ Transformers, modeling individual graph updates as single tokens. In this work, we propose HOT: a model that enhances this line of works by harnessing higher-order (HO) graph structures; specifically, k-hop neighbors and more general subgraphs containing a given pair of vertices. Harnessing such HO structures by encoding them into the attention matrix of the underlying Transformer results in higher accuracy of link prediction outcomes, but at the expense of increased memory pressure. To alleviate this, we resort to a recent class of schemes that impose hierarchy on the attention matrix, significantly reducing memory footprint. The final design offers a sweetspot between high accuracy and low memory utilization. HOT outperforms other dynamic GRL schemes, for example achieving 9%, 7%, and 15% higher accuracy than - respectively - DyGFormer, TGN, and GraphMixer, for the MOOC dataset. Our design can be seamlessly extended towards other dynamic GRL workloads.
• Abstract（参考訳）: 多くのグラフ表現学習(GRL)問題は動的であり、数百万のエッジが追加され、毎秒削除される。 この設定における基本的なワークロードは、動的リンク予測である。 グラフ更新の履歴を使用して、与えられた頂点のペアが接続されるかどうかを予測する。 このような動的設定におけるリンク予測の最近のスキームはトランスフォーマーを採用し、個々のグラフ更新を単一トークンとしてモデル化している。 本研究では、高階(HO)グラフ構造、具体的には、kホップ近傍および与えられた頂点を含むより一般的な部分グラフを活用することにより、この研究線を強化するモデルであるHOTを提案する。 このようなHO構造を基盤となるTransformerのアテンションマトリックスに符号化することで、リンク予測結果の精度が向上するが、メモリ圧力の増大を犠牲にしている。 これを緩和するために、注意行列に階層構造を課し、メモリフットプリントを大幅に削減する最近のスキームを利用する。 最終的な設計は、高精度と低メモリ利用の間のスイートスポットを提供する。 HOTは、MOOCデータセットのDyGFormer、TGN、GraphMixerよりも9%、7%、15%高い精度を達成している。 私たちの設計は、他の動的GRLワークロードに対してシームレスに拡張できます。

関連論文リスト

• GraphGPT: Graph Learning with Generative Pre-trained Transformers [9.862004020075126]
  自己教師型生成事前学習変換器によるグラフ学習の新しいモデルである textitGraphGPT を紹介する。 我々のモデルでは,各グラフやサンプリングされたサブグラフを,ノード,エッジ,属性を表すトークン列に変換する。 生成前トレーニングにより、パフォーマンスを継続的に向上させることなく、最大4M以上のパラメータをGraphGPTでトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2023-12-31T16:19:30Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Diffusing Graph Attention [15.013509382069046]
  任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。 GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。 8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
  論文  参考訳（メタデータ） (2023-03-01T16:11:05Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
  動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。 DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。 DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-19T21:44:23Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。