論文の概要: Are More Layers Beneficial to Graph Transformers?

• arxiv url: http://arxiv.org/abs/2303.00579v1
• Date: Wed, 1 Mar 2023 15:22:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 14:20:48.628953
• Title: Are More Layers Beneficial to Graph Transformers?
• Title（参考訳）: グラフトランスフォーマーにはもっと多くのレイヤが有益か?
• Authors: Haiteng Zhao, Shuming Ma, Dongdong Zhang, Zhi-Hong Deng, Furu Wei
• Abstract要約: 現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
• 参考スコア（独自算出の注目度）: 97.05661983225603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite that going deep has proven successful in many neural architectures, the existing graph transformers are relatively shallow. In this work, we explore whether more layers are beneficial to graph transformers, and find that current graph transformers suffer from the bottleneck of improving performance by increasing depth. Our further analysis reveals the reason is that deep graph transformers are limited by the vanishing capacity of global attention, restricting the graph transformer from focusing on the critical substructure and obtaining expressive features. To this end, we propose a novel graph transformer model named DeepGraph that explicitly employs substructure tokens in the encoded representation, and applies local attention on related nodes to obtain substructure based attention encoding. Our model enhances the ability of the global attention to focus on substructures and promotes the expressiveness of the representations, addressing the limitation of self-attention as the graph transformer deepens. Experiments show that our method unblocks the depth limitation of graph transformers and results in state-of-the-art performance across various graph benchmarks with deeper models.
• Abstract（参考訳）: 深層化が多くのニューラルネットワークで成功したにもかかわらず、既存のグラフトランスフォーマーは比較的浅い。 本研究では,グラフトランスにとってより多くの層が有用かどうかを考察し,グラフトランスフォーマーが深度を増すことで性能向上のボトルネックに悩まされていることを明らかにする。 さらに分析した結果,深部グラフトランスフォーマーはグローバルな注意力の消滅能力によって制限されており,グラフトランスフォーマーが臨界部分構造に焦点を絞ることや表現的特徴の獲得を妨げていることが明らかとなった。 この目的のために,符号化表現にサブ構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案し,関連するノードに局所的な注意を払ってサブ構造に基づくアテンションエンコーディングを実現する。 我々のモデルは,グラフトランスフォーマーの深化に伴う自己意識の限界に対処し,サブ構造に注目するグローバルな注意力を高め,表現の表現力を高める。 実験により,本手法はグラフ変換器の深さ制限を解き,より深いモデルを持つ各種グラフベンチマークの最先端性能を示すことが示された。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Automatic Graph Topology-Aware Transformer [50.2807041149784]
  マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。 EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。 グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T07:44:31Z)
• Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
  グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。 本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。 既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
  論文  参考訳（メタデータ） (2024-04-08T15:24:20Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。