論文の概要: Transformers are Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2506.22084v1
• Date: Fri, 27 Jun 2025 10:15:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.168284
• Title: Transformers are Graph Neural Networks
• Title（参考訳）: トランスフォーマーはグラフニューラルネットワークである
• Authors: Chaitanya K. Joshi,
• Abstract要約: トークンの完全連結グラフで動作するメッセージパッシングGNNとして、Transformerをどのように見ることができるかを示す。 変換器は、アプリオリグラフに制約されることなく入力要素間の関係を学習する表現的集合処理ネットワークである。
• 参考スコア（独自算出の注目度）: 2.372213454118027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish connections between the Transformer architecture, originally introduced for natural language processing, and Graph Neural Networks (GNNs) for representation learning on graphs. We show how Transformers can be viewed as message passing GNNs operating on fully connected graphs of tokens, where the self-attention mechanism capture the relative importance of all tokens w.r.t. each-other, and positional encodings provide hints about sequential ordering or structure. Thus, Transformers are expressive set processing networks that learn relationships among input elements without being constrained by apriori graphs. Despite this mathematical connection to GNNs, Transformers are implemented via dense matrix operations that are significantly more efficient on modern hardware than sparse message passing. This leads to the perspective that Transformers are GNNs currently winning the hardware lottery.
• Abstract（参考訳）: 自然言語処理用に最初に導入されたTransformerアーキテクチャと,グラフ上での表現学習のためのグラフニューラルネットワーク(GNN)の接続を確立する。 トークンの完全連結グラフ上で動作しているメッセージパッシングGNNとしてTransformerがどのように見えるかを示す。そこでは、自己注意機構がトークンの相対的重要性を捉え、位置エンコーディングは順序付けや構造に関するヒントを提供する。 このように、トランスフォーマーは、アプリオリグラフに制約されることなく入力要素間の関係を学習する表現的集合処理ネットワークである。 GNNとの数学的接続にもかかわらず、トランスフォーマーは疎メッセージパッシングよりも現代的なハードウェアにおいてはるかに効率的な密度の高い行列演算によって実装されている。 これはTransformerが現在ハードウェア宝くじで勝利しているGNNである、という見方につながります。

関連論文リスト

• Plain Transformers Can be Powerful Graph Learners [64.50059165186701]
  研究者たちは、Transformerをグラフ学習に移行しようとしたが、ほとんどの高度なGraph Transformerは、普通のTransformerから遠く離れている。 この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者になれることを示した。
  論文  参考訳（メタデータ） (2025-04-17T02:06:50Z)
• GTC: GNN-Transformer Co-contrastive Learning for Self-supervised Heterogeneous Graph Representation [0.9249657468385781]
  本稿では,GNN-Transformerの協調学習手法を提案し,GTCアーキテクチャを構築する。 The Transformer branch for the Metapath-aware Hop2Token and CG-Hetphormer which can Cooper with GNN to Attentively encoding neighborhood information from different levels。 実際のデータセットでの実験では、GTCは最先端の手法よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2024-03-22T12:22:44Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• TransGNN: Harnessing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems [31.922581157563272]
  協調フィルタリング(CF)のための有望なソリューションとして、グラフニューラルネットワーク(GNN)が登場している。 本稿では,Transformer層とGNN層を相互に拡張するために交互に統合する新しいモデルであるTransGNNを提案する。
  論文  参考訳（メタデータ） (2023-08-28T07:03:08Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Relational Attention: Generalizing Transformers for Graph-Structured Tasks [0.8702432681310401]
  トランスフォーマーは、タスク固有のエンティティとその属性を表す実数値ベクトルのセットを操作する。 しかし、セットプロセッサとして、トランスフォーマーはより一般的なグラフ構造化データの推論において不利である。 変換器の注意を一般化し,各変換器層におけるエッジベクトルの考察と更新を行う。
  論文  参考訳（メタデータ） (2022-10-11T00:25:04Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• MSG-Transformer: Exchanging Local Spatial Information by Manipulating Messenger Tokens [129.10351459066501]
  メッセンジャー(MSG)として機能する各領域に特化トークンを提案する。 これらのMSGトークンを操作することで、領域間で柔軟に視覚情報を交換することができる。 次に、MSGトークンをMSG-Transformerというマルチスケールアーキテクチャに統合する。
  論文  参考訳（メタデータ） (2021-05-31T17:16:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。