論文の概要: Exphormer: Sparse Transformers for Graphs

• arxiv url: http://arxiv.org/abs/2303.06147v1
• Date: Fri, 10 Mar 2023 18:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-13 13:59:44.930009
• Title: Exphormer: Sparse Transformers for Graphs
• Title（参考訳）: Exphormer:グラフ用のスパーストランスフォーマー
• Authors: Hamed Shirzad, Ameya Velingker, Balaji Venkatachalam, Danica J. Sutherland, Ali Kemal Sinop
• Abstract要約: パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。 textscExphormerは、従来のグラフトランスフォーマーアーキテクチャよりも大きなグラフ上のデータセットにスケール可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.055213942955148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph transformers have emerged as a promising architecture for a variety of graph learning and representation tasks. Despite their successes, though, it remains challenging to scale graph transformers to large graphs while maintaining accuracy competitive with message-passing networks. In this paper, we introduce Exphormer, a framework for building powerful and scalable graph transformers. Exphormer consists of a sparse attention mechanism based on two mechanisms: virtual global nodes and expander graphs, whose mathematical characteristics, such as spectral expansion, pseduorandomness, and sparsity, yield graph transformers with complexity only linear in the size of the graph, while allowing us to prove desirable theoretical properties of the resulting transformer models. We show that incorporating \textsc{Exphormer} into the recently-proposed GraphGPS framework produces models with competitive empirical results on a wide variety of graph datasets, including state-of-the-art results on three datasets. We also show that \textsc{Exphormer} can scale to datasets on larger graphs than shown in previous graph transformer architectures. Code can be found at https://github.com/hamed1375/Exphormer.
• Abstract（参考訳）: グラフトランスフォーマーは、様々なグラフ学習と表現タスクのための有望なアーキテクチャとして登場した。 しかし、その成功にもかかわらず、メッセージパッシングネットワークと競合する精度を維持しながら、グラフトランスフォーマーを大きなグラフにスケールすることは依然として困難である。 本稿では,パワフルでスケーラブルなグラフ変換器を構築するためのフレームワークであるExphormerを紹介する。 Exphormer は2つのメカニズムに基づくスパースアテンション機構で構成されている。仮想グローバルノードと拡張グラフは、スペクトル展開、pseduorandomness、sparsity などの数学的特徴を持ち、グラフのサイズが線形な複雑なグラフ変換器を出力し、結果の変換器モデルの理論的特性を合理的に証明する。 最近提案されたGraphGPSフレームワークに \textsc{Exphormer} を組み込むことで,3つのデータセットの最先端結果を含む多種多様なグラフデータセット上で,競合的な実験結果を持つモデルが生成されることを示す。 また,従来のグラフトランスフォーマーアーキテクチャよりも大きなグラフ上のデータセットにスケールできることを示す。 コードはhttps://github.com/hamed1375/Exphormerにある。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
  本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-05-07T06:00:47Z)
• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Attending to Graph Transformers [5.609943831664869]
  グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。 ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。 グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
  論文  参考訳（メタデータ） (2023-02-08T16:40:11Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Relphormer: Relational Graph Transformer for Knowledge Graph Representations [25.40961076988176]
  本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。 本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。 6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-05-22T15:30:18Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。