論文の概要: Unleashing the Power of Transformer for Graphs

• arxiv url: http://arxiv.org/abs/2202.10581v1
• Date: Fri, 18 Feb 2022 06:40:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-23 15:02:12.068259
• Title: Unleashing the Power of Transformer for Graphs
• Title（参考訳）: グラフ変換器のパワーを解放する
• Authors: Lingbing Guo, Qiang Zhang, Huajun Chen
• Abstract要約: Transformerはグラフを扱う際にスケーラビリティの問題に悩まされる。 デュアルエンコードトランス (DET) と呼ばれる新しいトランスアーキテクチャを提案する。 DETは、接続された隣人からの情報を集約する構造エンコーダと、意味的に有用な遠隔ノードにフォーカスする意味エンコーダを備えている。
• 参考スコア（独自算出の注目度）: 28.750700720796836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent successes in natural language processing and computer vision, Transformer suffers from the scalability problem when dealing with graphs. The computational complexity is unacceptable for large-scale graphs, e.g., knowledge graphs. One solution is to consider only the near neighbors, which, however, will lose the key merit of Transformer to attend to the elements at any distance. In this paper, we propose a new Transformer architecture, named dual-encoding Transformer (DET). DET has a structural encoder to aggregate information from connected neighbors and a semantic encoder to focus on semantically useful distant nodes. In comparison with resorting to multi-hop neighbors, DET seeks the desired distant neighbors via self-supervised training. We further find these two encoders can be incorporated to boost each others' performance. Our experiments demonstrate DET has achieved superior performance compared to the respective state-of-the-art methods in dealing with molecules, networks and knowledge graphs with various sizes.
• Abstract（参考訳）: 最近の自然言語処理とコンピュータビジョンの成功にもかかわらず、transformerはグラフを扱う際のスケーラビリティの問題に苦しんでいる。 計算複雑性は、例えば知識グラフのような大規模グラフでは受け入れられない。 一つの解決策は、近くの隣人だけを考えることであるが、トランスフォーマーの重要な利点は、任意の距離で要素に参加することにある。 本稿では,デュアルエンコードトランス (DET) と呼ばれる新しいトランスアーキテクチャを提案する。 DETは、接続された隣人からの情報を集約する構造エンコーダと、意味的に有用な遠隔ノードにフォーカスする意味エンコーダを備えている。 マルチホップの隣人を頼りにしているのと比べ、DETは自制訓練を通じて望まれる遠い隣人を捜している。 さらに、これらの2つのエンコーダは互いに性能を高めるために組み込むことができる。 実験により, 分子, ネットワーク, 知識グラフを多種多様なサイズで扱う手法と比較して, DETは優れた性能を示した。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Graph as Point Set [31.448841287258116]
  本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。 これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。 提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
  論文  参考訳（メタデータ） (2024-05-05T02:29:41Z)
• GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation [0.9249657468385781]
  本稿では,GNN-Transformerの協調学習手法を提案し,GTCアーキテクチャを構築する。 The Transformer branch for the Metapath-aware Hop2Token and CG-Hetphormer which can Cooper with GNN to Attentively encoding neighborhood information from different levels。 実際のデータセットでの実験では、GTCは最先端の手法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-22T12:22:44Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Dual Vision Transformer [114.1062057736447]
  デュアルビジョントランス(Dual-ViT)という,コスト問題を緩和する新しいトランスフォーマーアーキテクチャを提案する。 新しいアーキテクチャでは、トークンベクトルをより効率的にグローバルなセマンティックスに圧縮し、複雑さの順序を減らし、重要なセマンティックパスが組み込まれている。 我々は、Dual-ViTが訓練の複雑さを低減したSOTAトランスフォーマーアーキテクチャよりも優れた精度を提供することを実証的に実証した。
  論文  参考訳（メタデータ） (2022-07-11T16:03:44Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
  我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。 様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
  論文  参考訳（メタデータ） (2022-05-27T14:36:55Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。