Fugu-MT 論文翻訳(概要): X-LogSMask: Expand Transformer for Graph-Structured Data

論文の概要: X-LogSMask: Expand Transformer for Graph-Structured Data

arxiv url: http://arxiv.org/abs/2607.01553v1
Date: Thu, 02 Jul 2026 00:20:58 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-03 19:45:08.619784
Title: X-LogSMask: Expand Transformer for Graph-Structured Data
Title（参考訳）: X-LogSMask: グラフ構造化データのための拡張変換器
Abstract要約: X-LogSMaskは、対称正規化グラフトポロジーを直接アテンションロジットに注入するマルチヘッド対数構造マスクである。 X-LogSMaskは13のデータセット上で最先端のパフォーマンスを実現し、軽量な1層構成で競争力を維持することを示す。
参考スコア（独自算出の注目度）: 4.850518511688693
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transformers have become general-purpose architectures, but their all-to-all self-attention is poorly matched to graph data, whose interactions are sparse, structured and multi-scale. Existing Graph Transformers address this mismatch through structural encodings, hybrid message-passing modules or learned attention constraints, often introducing additional complexity and limited interpretability. Here we introduce X-LogSMask, an explainable multi-head logarithmic structural mask that injects symmetrically normalized graph topology directly into attention logits. The logarithmic transform converts structural connectivity into a topology-aware gating signal, suppressing unsupported node interactions while preserving feature-dependent attention. By assigning different powers of the normalized adjacency matrix to different attention heads, X-LogSMask gives each head a defined structural radius and supports multi-hop information propagation within a single layer. We further show that a standard Transformer encoder can be interpreted as one-step message passing on a complete graph, motivating X-LogSMask as a topology-constrained alternative to unrestricted self-attention. Across 20 node-, edge- and graph-level benchmarks, Transformers equipped with X-LogSMask achieve state-of-the-art performance on 13 datasets and remain competitive in a lightweight one-layer configuration. These results show that simple, interpretable structural masks can make self-attention an effective graph-learning operator without changing the Transformer architecture. The code is available at https://github.com/LiLeyan-0120/X-LogSMask.
Abstract（参考訳）: トランスフォーマーは汎用アーキテクチャとなったが、全ての自己注意はグラフデータとはあまり一致せず、相互作用は疎く、構造化され、マルチスケールである。既存のGraph Transformerは、構造的なエンコーディング、ハイブリッドメッセージパッシングモジュール、学習された注意制約を通じて、このミスマッチに対処する。ここでは、対称正規化グラフトポロジーを直接アテンションロジットに注入する、説明可能なマルチヘッド対数構造マスクであるX-LogSMaskを紹介する。対数変換は、構造接続をトポロジーを意識したゲーティング信号に変換し、特徴に依存した注意を保ちながら、サポートノードの相互作用を抑制する。正規化された隣接行列の異なるパワーを異なるアテンションヘッドに割り当てることで、X-LogSMaskは各ヘッドに定義された構造半径を与え、単一の層内でのマルチホップ情報伝搬をサポートする。さらに、標準トランスフォーマーエンコーダは、完全グラフ上のワンステップメッセージパッシングとして解釈できることを示し、X-LogSMaskを制約のない自己意図のトポロジに制約された代替手段として動機付けている。ノードレベルのベンチマーク、エッジレベルのベンチマーク、グラフレベルのベンチマーク、X-LogSMaskを備えたTransformerは、13のデータセット上で最先端のパフォーマンスを実現し、軽量な1層構成で競争力を維持する。これらの結果から, 単純かつ解釈可能な構造マスクは, トランスフォーマーアーキテクチャを変更することなく, 自己認識を効果的なグラフ学習演算子にすることができることがわかった。コードはhttps://github.com/LiLeyan-0120/X-LogSMaskで公開されている。

関連論文リスト

Learning Graph Quantized Tokenizers [28.79505338383552]
グラフ変換器(GT)は、幾何学的深層学習における主要なモデルとして登場した。我々は、Transformerトレーニングからトークン処理器トレーニングを分離するGQT(textbfGraph textbfQuantized textbfTokenizer)を導入する。 GQTとトークン変調を組み合わせることで、Transformerエンコーダは22ベンチマーク中20ベンチマークで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2024-10-17T17:38:24Z)
SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。本研究では,一層伝播を一層伝播に還元できることを示す。これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文参考訳（メタデータ） (2024-09-13T17:37:34Z)
Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
論文参考訳（メタデータ） (2024-09-09T18:10:26Z)
Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
論文参考訳（メタデータ） (2024-05-07T06:00:47Z)
Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
論文参考訳（メタデータ） (2024-01-31T12:33:31Z)
Transformers are efficient hierarchical chemical graph learners [7.074125287195362]
SubFormerは、メッセージパッシング機構によって情報を集約するサブグラフで動作するグラフトランスフォーマーである。従来のグラフニューラルネットワークでは,SubFormerのオーバースムース化が制限され,オーバースキャッシングを回避することが示されている。
論文参考訳（メタデータ） (2023-10-02T23:57:04Z)
SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文参考訳（メタデータ） (2023-06-19T08:03:25Z)
Exphormer: Sparse Transformers for Graphs [5.055213942955148]
パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。 Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
論文参考訳（メタデータ） (2023-03-10T18:59:57Z)
Relational Attention: Generalizing Transformers for Graph-Structured Tasks [0.8702432681310401]
トランスフォーマーは、タスク固有のエンティティとその属性を表す実数値ベクトルのセットを操作する。しかし、セットプロセッサとして、トランスフォーマーはより一般的なグラフ構造化データの推論において不利である。変換器の注意を一般化し,各変換器層におけるエッジベクトルの考察と更新を行う。
論文参考訳（メタデータ） (2022-10-11T00:25:04Z)
What Dense Graph Do You Need for Self-Attention? [73.82686008622596]
我々はハイパーキューブにおけるトークンインタラクションをモデル化し、バニラ変換器と同等あるいはそれ以上の結果を示すスパーストランスフォーマーHypercube Transformerを提案する。様々なシーケンス長を必要とするタスクの実験は、グラフ関数の検証をうまく行いました。
論文参考訳（メタデータ） (2022-05-27T14:36:55Z)
Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文参考訳（メタデータ） (2021-06-09T17:18:52Z)
A Generalization of Transformer Networks to Graphs [5.736353542430439]
標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
論文参考訳（メタデータ） (2020-12-17T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。