論文の概要: Plain Transformers Can be Powerful Graph Learners

• arxiv url: http://arxiv.org/abs/2504.12588v2
• Date: Tue, 20 May 2025 20:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:58.20246
• Title: Plain Transformers Can be Powerful Graph Learners
• Title（参考訳）: 普通のトランスフォーマーは強力なグラフ学習者になれる
• Authors: Liheng Ma, Soumyasundar Pal, Yingxue Zhang, Philip H. S. Torr, Mark Coates,
• Abstract要約: 研究者たちは、Transformerをグラフ学習に移行しようとしたが、ほとんどの高度なGraph Transformerは、普通のTransformerから遠く離れている。 この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者になれることを示した。
• 参考スコア（独自算出の注目度）: 64.50059165186701
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have attained outstanding performance across various modalities, owing to their simple but powerful scaled-dot-product (SDP) attention mechanisms. Researchers have attempted to migrate Transformers to graph learning, but most advanced Graph Transformers (GTs) have strayed far from plain Transformers, exhibiting major architectural differences either by integrating message-passing or incorporating sophisticated attention mechanisms. These divergences hinder the easy adoption of training advances for Transformers developed in other domains. Contrary to previous GTs, this work demonstrates that the plain Transformer architecture can be a powerful graph learner. To achieve this, we propose to incorporate three simple, minimal, and easy-to-implement modifications to the plain Transformer architecture to construct our Powerful Plain Graph Transformers (PPGT): (1) simplified $L_2$ attention for measuring the magnitude closeness among tokens; (2) adaptive root-mean-square normalization to preserve token magnitude information; and (3) a simple MLP-based stem for graph positional encoding. Consistent with its theoretical expressivity, PPGT demonstrates noteworthy realized expressivity on the empirical graph expressivity benchmark, comparing favorably to more complicated competitors such as subgraph GNNs and higher-order GNNs. Its outstanding empirical performance across various graph datasets also justifies the practical effectiveness of PPGT.
• Abstract（参考訳）: トランスフォーマーは、シンプルだが強力なスケールド・プロダクツ(SDP)アテンション機構により、様々なモードで優れたパフォーマンスを実現している。 研究者はトランスフォーマーをグラフ学習に移行しようとしたが、ほとんどの高度なグラフトランスフォーマー(GT)は、通常のトランスフォーマーから遠く離れており、メッセージパッシングを統合するか、高度なアテンションメカニズムを統合することで、アーキテクチャ上の大きな違いを示している。 これらの違いは、他のドメインで開発されたトランスフォーマーのトレーニング進歩の容易な導入を妨げる。 従来のGTとは対照的に、この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者であることを示す。 そこで本研究では, 単純で最小かつ実装が容易な3つのトランスフォーマーアーキテクチャを組み込んで, パワーフルプレーングラフトランスフォーマー (PPGT) を構築することを提案する。(1) トークン間の大きさの密接度を測定するための$L_2$の簡易化, (2) トークンの大きさ情報を保存するための適応ルート平均二乗正規化, (3) グラフ位置エンコーディングのためのシンプルなMLPベースステム。 PPGTは、その理論的な表現性に反し、経験的グラフ表現性ベンチマークで注目すべき実写表現性を示し、グラフ GNN や高階 GNN のようなより複雑な競合と比較した。 様々なグラフデータセットにまたがる優れた経験的性能は、PPGTの実用性も正当化する。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
  我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
  論文  参考訳（メタデータ） (2024-06-06T14:01:28Z)
• Automatic Graph Topology-Aware Transformer [50.2807041149784]
  マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。 EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。 グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T07:44:31Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)
• Equiformer: Equivariant Graph Attention Transformer for 3D Atomistic Graphs [3.0603554929274908]
  3D関連誘導バイアスは、分子のような3D原子性グラフで動作するグラフニューラルネットワークには不可欠である。 様々な領域におけるトランスフォーマーの成功に触発されて、これらのインダクティブバイアスをトランスフォーマーに組み込む方法について研究する。 本稿では,Transformerアーキテクチャの強みを利用したグラフニューラルネットワークであるEquiformerを提案する。
  論文  参考訳（メタデータ） (2022-06-23T21:40:37Z)
• Relphormer: Relational Graph Transformer for Knowledge Graph Representations [25.40961076988176]
  本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。 本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。 6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-05-22T15:30:18Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。