論文の概要: Hierarchical Graph Transformer with Adaptive Node Sampling
- arxiv url: http://arxiv.org/abs/2210.03930v1
- Date: Sat, 8 Oct 2022 05:53:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-11 15:08:14.943745
- Title: Hierarchical Graph Transformer with Adaptive Node Sampling
- Title（参考訳）: アダプティブノードサンプリングによる階層グラフ変換器
- Authors: Zaixi Zhang, Qi Liu, Qingyong Hu, Chee-Kong Lee
- Abstract要約: 現在のグラフ変換器の主な欠陥を同定する。
ほとんどのサンプリング戦略は、近隣にのみ焦点をあて、グラフ内の長距離依存を無視している。
本稿では,グラフ粗化を用いた階層型アテンション方式を提案する。
- 参考スコア（独自算出の注目度）: 19.45896788055167
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The Transformer architecture has achieved remarkable success in a number of
domains including natural language processing and computer vision. However,
when it comes to graph-structured data, transformers have not achieved
competitive performance, especially on large graphs. In this paper, we identify
the main deficiencies of current graph transformers:(1) Existing node sampling
strategies in Graph Transformers are agnostic to the graph characteristics and
the training process. (2) Most sampling strategies only focus on local
neighbors and neglect the long-range dependencies in the graph. We conduct
experimental investigations on synthetic datasets to show that existing
sampling strategies are sub-optimal. To tackle the aforementioned problems, we
formulate the optimization strategies of node sampling in Graph Transformer as
an adversary bandit problem, where the rewards are related to the attention
weights and can vary in the training procedure. Meanwhile, we propose a
hierarchical attention scheme with graph coarsening to capture the long-range
interactions while reducing computational complexity. Finally, we conduct
extensive experiments on real-world datasets to demonstrate the superiority of
our method over existing graph transformers and popular GNNs.
- Abstract（参考訳）: Transformerアーキテクチャは自然言語処理やコンピュータビジョンを含む多くの領域で大きな成功を収めている。
しかし、グラフ構造化データに関しては、特に大きなグラフでは、トランスフォーマーは競合性能に達していない。
本稿では,現在のグラフトランスフォーマーの主な欠点を明らかにする。(1)グラフトランスフォーマーにおける既存のノードサンプリング戦略は,グラフ特性やトレーニングプロセスに依存しない。
2)ほとんどのサンプリング戦略は, 近隣住民にのみ焦点をあて, グラフ内の長距離依存を無視している。
我々は,既存のサンプリング戦略が準最適であることを示すために,合成データセットに関する実験的研究を行う。
上記の問題に対処するために,グラフトランスフォーマタにおけるノードサンプリングの最適化戦略を,注意重みに報奨が関係し,訓練手順が変化する敵対的バンディット問題として定式化する。
一方,計算複雑性を低減しつつ長距離相互作用を捉えるために,グラフ粗粒化を用いた階層的注意スキームを提案する。
最後に,実世界のデータセットについて広範な実験を行い,既存のグラフトランスフォーマーや一般的なgnnよりも優れていることを示す。
関連論文リスト
- SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。
本研究では,一層伝播を一層伝播に還元できることを示す。
これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文 参考訳（メタデータ） (2024-09-13T17:37:34Z) - What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。
本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
論文 参考訳（メタデータ） (2024-06-04T05:30:16Z) - Automatic Graph Topology-Aware Transformer [50.2807041149784]
マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。
EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。
グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
論文 参考訳（メタデータ） (2024-05-30T07:44:31Z) - Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。
本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。
既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
論文 参考訳（メタデータ） (2024-04-08T15:24:20Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳（メタデータ） (2023-09-18T20:12:17Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳（メタデータ） (2023-06-19T08:03:25Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳（メタデータ） (2022-06-29T00:23:25Z) - Dynamic Graph Representation Learning via Graph Transformer Networks [41.570839291138114]
動的グラフ変換器 (DGT) を用いた動的グラフ学習手法を提案する。
DGTは、グラフトポロジを効果的に学習し、暗黙のリンクをキャプチャするための時空間符号化を持つ。
DGTはいくつかの最先端のベースラインと比較して優れた性能を示す。
論文 参考訳（メタデータ） (2021-11-19T21:44:23Z) - Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。
具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。
エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文 参考訳（メタデータ） (2021-10-25T16:43:32Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-03T17:57:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。