論文の概要: Unleashing the Power of Transformer for Graphs
- arxiv url: http://arxiv.org/abs/2202.10581v1
- Date: Fri, 18 Feb 2022 06:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-23 15:02:12.068259
- Title: Unleashing the Power of Transformer for Graphs
- Title(参考訳): グラフ変換器のパワーを解放する
- Authors: Lingbing Guo, Qiang Zhang, Huajun Chen
- Abstract要約: Transformerはグラフを扱う際にスケーラビリティの問題に悩まされる。
デュアルエンコードトランス (DET) と呼ばれる新しいトランスアーキテクチャを提案する。
DETは、接続された隣人からの情報を集約する構造エンコーダと、意味的に有用な遠隔ノードにフォーカスする意味エンコーダを備えている。
- 参考スコア(独自算出の注目度): 28.750700720796836
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent successes in natural language processing and computer vision,
Transformer suffers from the scalability problem when dealing with graphs. The
computational complexity is unacceptable for large-scale graphs, e.g.,
knowledge graphs. One solution is to consider only the near neighbors, which,
however, will lose the key merit of Transformer to attend to the elements at
any distance. In this paper, we propose a new Transformer architecture, named
dual-encoding Transformer (DET). DET has a structural encoder to aggregate
information from connected neighbors and a semantic encoder to focus on
semantically useful distant nodes. In comparison with resorting to multi-hop
neighbors, DET seeks the desired distant neighbors via self-supervised
training. We further find these two encoders can be incorporated to boost each
others' performance. Our experiments demonstrate DET has achieved superior
performance compared to the respective state-of-the-art methods in dealing with
molecules, networks and knowledge graphs with various sizes.
- Abstract(参考訳): 最近の自然言語処理とコンピュータビジョンの成功にもかかわらず、transformerはグラフを扱う際のスケーラビリティの問題に苦しんでいる。
計算複雑性は、例えば知識グラフのような大規模グラフでは受け入れられない。
一つの解決策は、近くの隣人だけを考えることであるが、トランスフォーマーの重要な利点は、任意の距離で要素に参加することにある。
本稿では,デュアルエンコードトランス (DET) と呼ばれる新しいトランスアーキテクチャを提案する。
DETは、接続された隣人からの情報を集約する構造エンコーダと、意味的に有用な遠隔ノードにフォーカスする意味エンコーダを備えている。
マルチホップの隣人を頼りにしているのと比べ、DETは自制訓練を通じて望まれる遠い隣人を捜している。
さらに、これらの2つのエンコーダは互いに性能を高めるために組み込むことができる。
実験により, 分子, ネットワーク, 知識グラフを多種多様なサイズで扱う手法と比較して, DETは優れた性能を示した。
関連論文リスト
- SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Dual Vision Transformer [114.1062057736447]
デュアルビジョントランス(Dual-ViT)という,コスト問題を緩和する新しいトランスフォーマーアーキテクチャを提案する。
新しいアーキテクチャでは、トークンベクトルをより効率的にグローバルなセマンティックスに圧縮し、複雑さの順序を減らし、重要なセマンティックパスが組み込まれている。
我々は、Dual-ViTが訓練の複雑さを低減したSOTAトランスフォーマーアーキテクチャよりも優れた精度を提供することを実証的に実証した。
論文 参考訳(メタデータ) (2022-07-11T16:03:44Z) - Deformable Graph Transformer [31.254872949603982]
本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。
実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
論文 参考訳(メタデータ) (2022-06-29T00:23:25Z) - What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。
様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
論文 参考訳(メタデータ) (2022-05-27T14:36:55Z) - Relphormer: Relational Graph Transformer for Knowledge Graph
Representations [25.40961076988176]
本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。
本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。
6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
論文 参考訳(メタデータ) (2022-05-22T15:30:18Z) - Graph Neural Networks with Learnable Structural and Positional
Representations [83.24058411666483]
任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。
ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。
両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
論文 参考訳(メタデータ) (2021-10-15T05:59:15Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。
ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。
我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
論文 参考訳(メタデータ) (2021-06-07T18:11:11Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。