論文の概要: Aligning Transformers with Weisfeiler-Leman

• arxiv url: http://arxiv.org/abs/2406.03148v1
• Date: Wed, 5 Jun 2024 11:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 18:50:02.215938
• Title: Aligning Transformers with Weisfeiler-Leman
• Title（参考訳）: Weisfeiler-Leman を用いたアライディングトランス
• Authors: Luis Müller, Christopher Morris,
• Abstract要約: グラフニューラルネットワークアーキテクチャは、理論的によく理解された表現力を提供する$k$-WL階層と一致している。 我々は,ラプラシアンPEやSPEなどの確立した位置符号化の研究を可能にする理論的枠組みを開発する。 我々は,大規模PCQM4Mv2データセットを用いてトランスフォーマーの評価を行い,最先端のPCQM4Mv2と競合する予測性能を示した。
• 参考スコア（独自算出の注目度）: 5.0452971570315235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural network architectures aligned with the $k$-dimensional Weisfeiler--Leman ($k$-WL) hierarchy offer theoretically well-understood expressive power. However, these architectures often fail to deliver state-of-the-art predictive performance on real-world graphs, limiting their practical utility. While recent works aligning graph transformer architectures with the $k$-WL hierarchy have shown promising empirical results, employing transformers for higher orders of $k$ remains challenging due to a prohibitive runtime and memory complexity of self-attention as well as impractical architectural assumptions, such as an infeasible number of attention heads. Here, we advance the alignment of transformers with the $k$-WL hierarchy, showing stronger expressivity results for each $k$, making them more feasible in practice. In addition, we develop a theoretical framework that allows the study of established positional encodings such as Laplacian PEs and SPE. We evaluate our transformers on the large-scale PCQM4Mv2 dataset, showing competitive predictive performance with the state-of-the-art and demonstrating strong downstream performance when fine-tuning them on small-scale molecular datasets. Our code is available at https://github.com/luis-mueller/wl-transformers.
• Abstract（参考訳）: グラフニューラルネットワークアーキテクチャは、$k$-dimensional Weisfeiler--Leman(k$-WL)階層と一致し、理論的によく理解された表現力を提供する。 しかし、これらのアーキテクチャは実世界のグラフに最先端の予測性能を提供できず、実用性は制限される。 グラフトランスフォーマーアーキテクチャを$k$-WL階層に整合させる最近の研究は、有望な実証的な結果を示しているが、より高次の$k$のトランスフォーマーを使うことは、禁止されたランタイムと自己注意のメモリ複雑さと、実現不可能な数のアテンションヘッドのような非現実的なアーキテクチャ仮定のため、依然として困難である。 ここでは、変換器と$k$-WL階層のアライメントを進め、各$k$に対してより強い表現性結果を示し、実際により実現可能であることを示す。 さらに,Laplacian PEsやSPEなどの定位符号化の研究を可能にする理論フレームワークを開発した。 我々は、大規模PCQM4Mv2データセット上でトランスフォーマーを評価し、最先端技術と競合する予測性能を示し、小規模分子データセット上でそれらを微調整する場合に強力な下流性能を示す。 私たちのコードはhttps://github.com/luis-mueller/wl-transformers.comで利用可能です。

関連論文リスト

• Automatic Graph Topology-Aware Transformer [50.2807041149784]
  マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。 EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。 グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T07:44:31Z)
• On the Theoretical Expressive Power and the Design Space of Higher-Order Graph Transformers [20.73012427295352]
  次数-k$グラフ変圧器とスパース変圧器の理論表現力について検討する。 自然近傍に基づくスパースオーダー-$k$変換モデルは,計算効率だけでなく,表現性も高いことを示す。
  論文  参考訳（メタデータ） (2024-04-04T11:26:51Z)
• Mechanistic Design and Scaling of Hybrid Architectures [114.3129802943915]
  我々は、様々な計算プリミティブから構築された新しいハイブリッドアーキテクチャを特定し、テストする。 本研究では,大規模計算最適法則と新しい状態最適スケーリング法則解析を用いて,結果のアーキテクチャを実験的に検証する。 我々は,MAD合成法と計算-最適パープレキシティを相関させ,新しいアーキテクチャの正確な評価を可能にする。
  論文  参考訳（メタデータ） (2024-03-26T16:33:12Z)
• Towards Principled Graph Transformers [8.897857788525629]
  k次元Weisfeiler-Leman(k-WL)階層に基づくグラフ学習アーキテクチャは、理論的によく理解された表現力を提供する。 提案するEdge Transformerは,ノードではなくノードペアで動作するグローバルアテンションモデルであり,少なくとも3WLの表現力を持つことを示す。
  論文  参考訳（メタデータ） (2024-01-18T16:50:55Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [78.97396248946174]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• On Structural Expressive Power of Graph Transformers [26.84413369075598]
  一般化グラフ同型テストアルゴリズムである textbfSEG-WL test (textbfStructural textbfEncoding enhanced textbfWeisfeiler-textbfLehman test) を導入する。 構造符号化の設計により,グラフ変換器の表現力がどのように決定されるかを示す。
  論文  参考訳（メタデータ） (2023-05-23T12:12:21Z)
• What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
  変圧器は自己注意を用いて対関係を抽出することができる。 優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。 Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。 TokenPropの正規化対象は、標準トレーニング体制で採用されている。
  論文  参考訳（メタデータ） (2022-12-21T15:51:43Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)
• Vision Transformers for Dense Prediction [77.34726150561087]
  高密度予測タスクのバックボーンとして、畳み込みネットワークの代わりにビジョントランスを活用するアーキテクチャである高密度ビジョントランスを紹介します。 実験により,このアーキテクチャは高密度予測タスクにおいて大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2021-03-24T18:01:17Z)
• Incorporating Convolution Designs into Visual Transformers [24.562955955312187]
  我々は、低レベル特徴抽出におけるCNNの利点、局所性の向上、長距離依存の確立におけるトランスフォーマーの利点を組み合わせた新しいtextbfConvolution-enhanced image Transformer (CeiT) を提案する。 ImageNetと7つの下流タスクの実験結果は、大量のトレーニングデータや追加のCNN教師を必要とすることなく、従来のトランスフォーマーや最先端CNNと比較してCeiTの有効性と一般化能力を示している。
  論文  参考訳（メタデータ） (2021-03-22T13:16:12Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。