論文の概要: Generalizable Insights for Graph Transformers in Theory and Practice

• arxiv url: http://arxiv.org/abs/2511.08028v1
• Date: Wed, 12 Nov 2025 01:35:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.604814
• Title: Generalizable Insights for Graph Transformers in Theory and Practice
• Title（参考訳）: 理論と実践におけるグラフ変換器の一般化可能性
• Authors: Timo Stoll, Luis Müller, Christopher Morris,
• Abstract要約: グラフ変換器(GT)は、強い経験的性能を示している。 現在のアーキテクチャは、注意機構、位置埋め込み(PE)、表現性など、多岐にわたる。 本稿では,近年のGTの進歩を取り入れたGTアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 10.811483927795921
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph Transformers (GTs) have shown strong empirical performance, yet current architectures vary widely in their use of attention mechanisms, positional embeddings (PEs), and expressivity. Existing expressivity results are often tied to specific design choices and lack comprehensive empirical validation on large-scale data. This leaves a gap between theory and practice, preventing generalizable insights that exceed particular application domains. Here, we propose the Generalized-Distance Transformer (GDT), a GT architecture using standard attention that incorporates many advancements for GTs from recent years, and develop a fine-grained understanding of the GDT's representation power in terms of attention and PEs. Through extensive experiments, we identify design choices that consistently perform well across various applications, tasks, and model scales, demonstrating strong performance in a few-shot transfer setting without fine-tuning. Our evaluation covers over eight million graphs with roughly 270M tokens across diverse domains, including image-based object detection, molecular property prediction, code summarization, and out-of-distribution algorithmic reasoning. We distill our theoretical and practical findings into several generalizable insights about effective GT design, training, and inference.
• Abstract（参考訳）: グラフトランスフォーマー(GT)は、強い経験的性能を示しているが、現在のアーキテクチャは、注意機構、位置埋め込み(PE)、表現性など、多岐にわたる。 既存の表現性の結果は、しばしば特定の設計選択と結びついており、大規模なデータに対する包括的な経験的検証が欠如している。 このことは理論と実践の間にギャップを残し、特定の応用領域を超える一般化可能な洞察を妨げている。 本稿では,近年のGTの進歩を取り入れたGTアーキテクチャであるGeneralized-Distance Transformer (GDT)を提案する。 広範囲な実験を通じて、様々なアプリケーション、タスク、モデルスケールで一貫してよく機能する設計選択を特定し、微調整なしで数発の転送設定で強い性能を示す。 評価では,画像ベースオブジェクト検出,分子特性予測,コード要約,分布外アルゴリズム推論など,約2億7000万個のトークンを持つ800万以上のグラフを網羅した。 本稿では,GT設計,トレーニング,推論に関するいくつかの一般化可能な知見に,理論的および実用的知見を抽出する。

関連論文リスト

• Exploring Graph-Transformer Out-of-Distribution Generalization Abilities [2.4063592468412276]
  グラフトランスフォーマー(GT)バックボーンは、最近、従来のメッセージパッシングニューラルネットワーク(MPNN)を複数のIDベンチマークで上回っている。 本研究は,グラフニューラルネットワークにおけるアウト・オブ・ディストリビューション(OOD)の一般化の課題に対処する。 我々は、GTsを扱うためにいくつかの主要なドメイン一般化(DG)アルゴリズムを適用し、様々な分散シフトをテストするために設計されたベンチマークでそれらの性能を評価する。
  論文  参考訳（メタデータ） (2025-06-25T16:09:24Z)
• OpenGT: A Comprehensive Benchmark For Graph Transformers [13.214504021335749]
  グラフトランスフォーマー(GT)は、最近、様々な領域で顕著なパフォーマンスを示している。 本稿では,グラフトランスフォーマーの総合ベンチマークであるOpenGTを紹介する。
  論文  参考訳（メタデータ） (2025-06-05T08:48:46Z)
• Towards A Universal Graph Structural Encoder [18.609281566514017]
  GFSEは、様々な領域にわたる転送可能な構造パターンをキャプチャするために設計された普遍的なグラフ構造エンコーダである。 グラフ変換器上に構築されたGFSEは、グラフ誘導バイアスによって誘導される注意機構を導入し、多層および微細なトポロジ的特徴をエンコードする。 GFSEは81.6%の評価ケースで最先端のパフォーマンスを達成し、多様なグラフモデルとデータセットにまたがる。
  論文  参考訳（メタデータ） (2025-04-15T06:57:26Z)
• QT-DoG: Quantization-aware Training for Domain Generalization [58.439816306817306]
  領域一般化のための量子化アウェアトレーニング(QT-DoG)を提案する。 我々は、減量量化が損失景観におけるより平坦なミニマムを効果的に導くことを実証した。 QT-DoGは、モデル重みのノイズを誘導することで暗黙の正則化器として量子化を利用する。
  論文  参考訳（メタデータ） (2024-10-08T13:21:48Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• GiT: Towards Generalist Vision Transformer through Universal Language Interface [94.33443158125186]
  本稿では,バニラ ViT のみを用いて,様々な視覚タスクに同時に適用可能な,シンプルかつ効果的な GiT フレームワークを提案する。 GiTはマルチタスクのビジュアルモデルで、タスク固有の微調整なしで5つの代表的なベンチマークで共同でトレーニングされている。
  論文  参考訳（メタデータ） (2024-03-14T13:47:41Z)
• What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
  最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。 拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。 我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
  論文  参考訳（メタデータ） (2024-03-10T04:23:24Z)
• Exploring Sparsity in Graph Transformers [67.48149404841925]
  グラフ変換器(GT)は、様々なグラフ関連タスクにおいて印象的な結果を得た。 しかし、GTsの膨大な計算コストは、特に資源制約のある環境でのデプロイメントと応用を妨げる。 我々は、GTの計算複雑性を低減するのに役立つ、包括的な textbfGraph textbfTransformer textbfSParsification (GTSP) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-09T06:21:44Z)
• The Neglected Sibling: Isotropic Gaussian Posterior for VAE [5.377898309773304]
  異方性ガウス後部(IGP)を用いた変分オートエンコーダ(VAE)の簡易な修正を提案する。 このモデルは、表現空間における不活性次元に関連するVAEの準最適挙動を避ける。
  論文  参考訳（メタデータ） (2021-10-14T14:12:52Z)
• Node Masking: Making Graph Neural Networks Generalize and Scale Better [71.51292866945471]
  グラフニューラルネットワーク(GNN)は近年,多くの関心を集めている。 本稿では,芸術空間のGNNの状態によって実行される操作をよりよく可視化するために,いくつかの理論ツールを利用する。 私たちはNode Maskingというシンプルなコンセプトを導入しました。
  論文  参考訳（メタデータ） (2020-01-17T06:26:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。