論文の概要: Plain Transformers are Surprisingly Powerful Link Predictors

• arxiv url: http://arxiv.org/abs/2602.01553v1
• Date: Mon, 02 Feb 2026 02:45:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.848716
• Title: Plain Transformers are Surprisingly Powerful Link Predictors
• Title（参考訳）: 普通の変圧器は、意外とパワフルなリンク予測器
• Authors: Quang Truong, Yu Song, Donald Loveland, Mingxuan Ju, Tong Zhao, Neil Shah, Jiliang Tang,
• Abstract要約: リンク予測はグラフ機械学習における中核的な課題であり、リッチで複雑なトポロジ的依存関係をキャプチャするモデルを必要とする。 グラフニューラルネットワーク(GNN)が標準的なソリューションであるのに対して、最先端のパイプラインは明示的な構造やメモリ集約的なノードの埋め込みに依存していることが多い。 本報告では,手作りのプリミティブに置き換えるエンコーダのみのプレーントランスであるPENCILについて,サンプリングしたローカルサブグラフに注目する。
• 参考スコア（独自算出の注目度）: 57.01966734467712
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Link prediction is a core challenge in graph machine learning, demanding models that capture rich and complex topological dependencies. While Graph Neural Networks (GNNs) are the standard solution, state-of-the-art pipelines often rely on explicit structural heuristics or memory-intensive node embeddings -- approaches that struggle to generalize or scale to massive graphs. Emerging Graph Transformers (GTs) offer a potential alternative but often incur significant overhead due to complex structural encodings, hindering their applications to large-scale link prediction. We challenge these sophisticated paradigms with PENCIL, an encoder-only plain Transformer that replaces hand-crafted priors with attention over sampled local subgraphs, retaining the scalability and hardware efficiency of standard Transformers. Through experimental and theoretical analysis, we show that PENCIL extracts richer structural signals than GNNs, implicitly generalizing a broad class of heuristics and subgraph-based expressivity. Empirically, PENCIL outperforms heuristic-informed GNNs and is far more parameter-efficient than ID-embedding--based alternatives, while remaining competitive across diverse benchmarks -- even without node features. Our results challenge the prevailing reliance on complex engineering techniques, demonstrating that simple design choices are potentially sufficient to achieve the same capabilities.
• Abstract（参考訳）: リンク予測はグラフ機械学習における中核的な課題であり、リッチで複雑なトポロジ的依存関係をキャプチャするモデルを必要とする。 グラフニューラルネットワーク(GNN)が標準的なソリューションであるのに対して,最先端のパイプラインでは,大規模なグラフの一般化やスケールアップに苦慮するアプローチとして,明示的な構造的ヒューリスティックやメモリ集約的なノード埋め込みに頼っていることが多い。 新興グラフ変換器(GT)は、潜在的な代替手段を提供するが、複雑な構造的エンコーディングのためにしばしば重大なオーバーヘッドを発生させ、大規模なリンク予測への応用を妨げる。 我々は,手作りのプリミティブトランスフォーマーであるPENCILを,サンプル化されたローカルサブグラフに代えて,標準的なトランスフォーマーのスケーラビリティとハードウェア効率を保ちながら,手作りのプリミティブトランスフォーマーに置き換えることで,これらの高度なパラダイムに挑戦する。 実験および理論的解析により,PENCILはGNNよりもリッチな構造信号を抽出し,広範にわたるヒューリスティックスとサブグラフに基づく表現性を暗黙的に一般化することを示した。 実証的には、PENCILはヒューリスティックなGNNよりも優れており、ID埋め込みベースの代替よりもはるかにパラメータ効率が高い。 我々の結果は、複雑なエンジニアリング技術への依存を克服し、シンプルな設計選択が、同じ能力を達成するのに十分であることを示した。

関連論文リスト

• Plain Transformers Can be Powerful Graph Learners [64.50059165186701]
  研究者たちは、Transformerをグラフ学習に移行しようとしたが、ほとんどの高度なGraph Transformerは、普通のTransformerから遠く離れている。 この研究は、普通のTransformerアーキテクチャが強力なグラフ学習者になれることを示した。
  論文  参考訳（メタデータ） (2025-04-17T02:06:50Z)
• Scalable Message Passing Neural Networks: No Need for Attention in Large Graph Representation Learning [15.317501970096743]
  我々は、標準畳み込みメッセージパッシングを注意の代わりにプレ層正規化トランスフォーマースタイルのブロックに統合することにより、高性能なディープメッセージパッシングベースグラフニューラルネットワーク(GNN)を実現できることを示す。 結果は、大グラフトランスダクティブ学習における最先端の最先端と競合するが、それ以外は計算的かつメモリ拡張的な注意機構を必要としない。
  論文  参考訳（メタデータ） (2024-10-29T17:18:43Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。