論文の概要: Enhancing Transformer with GNN Structural Knowledge via Distillation: A Novel Approach

• arxiv url: http://arxiv.org/abs/2503.01888v1
• Date: Thu, 27 Feb 2025 05:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:22:48.438673
• Title: Enhancing Transformer with GNN Structural Knowledge via Distillation: A Novel Approach
• Title（参考訳）: 蒸留によるGNN構造知識の強化:新しいアプローチ
• Authors: Zhihua Duan, Jialin Wang,
• Abstract要約: 本稿では,GNN教師モデルからトランスフォーマー学生モデルへ大規模構造知識を伝達する新しい知識蒸留フレームワークを提案する。 このフレームワークは、マイクロマクロ蒸留損失とマルチスケール機能アライメントにより、GNNとトランスフォーマーのアーキテクチャギャップを効果的に橋渡しする。
• 参考スコア（独自算出の注目度）: 1.4582633500696451
• License:
• Abstract: Integrating the structural inductive biases of Graph Neural Networks (GNNs) with the global contextual modeling capabilities of Transformers represents a pivotal challenge in graph representation learning. While GNNs excel at capturing localized topological patterns through message-passing mechanisms, their inherent limitations in modeling long-range dependencies and parallelizability hinder their deployment in large-scale scenarios. Conversely, Transformers leverage self-attention mechanisms to achieve global receptive fields but struggle to inherit the intrinsic graph structural priors of GNNs. This paper proposes a novel knowledge distillation framework that systematically transfers multiscale structural knowledge from GNN teacher models to Transformer student models, offering a new perspective on addressing the critical challenges in cross-architectural distillation. The framework effectively bridges the architectural gap between GNNs and Transformers through micro-macro distillation losses and multiscale feature alignment. This work establishes a new paradigm for inheriting graph structural biases in Transformer architectures, with broad application prospects.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の構造帰納バイアスと変換器のグローバルコンテキストモデリング能力を統合することは、グラフ表現学習における重要な課題である。 GNNはメッセージパッシング機構による局所的なトポロジパターンのキャプチャに優れていますが、長距離依存関係のモデリングや並列化性に固有の制限は、大規模なシナリオでのデプロイメントを妨げます。 逆に、トランスフォーマーは自己認識機構を利用して、グローバルな受容場を実現するが、GNNの固有のグラフ構造を継承することは困難である。 本稿では,GNN教師モデルからトランスフォーマー学生モデルへ大規模構造的知識を体系的に伝達する新しい知識蒸留フレームワークを提案する。 このフレームワークは、マイクロマクロ蒸留損失とマルチスケール機能アライメントにより、GNNとトランスフォーマーのアーキテクチャギャップを効果的に橋渡しする。 この研究は、Transformerアーキテクチャにおけるグラフ構造バイアスを継承するための新しいパラダイムを確立し、幅広い応用の見通しを示す。

関連論文リスト

• Graph-Aware Isomorphic Attention for Adaptive Dynamics in Transformers [0.0]
  変換器の注意機構をグラフ演算として再構成する。 スパース GIN-Attention はスパース GIN を用いた微調整手法である。
  論文  参考訳（メタデータ） (2025-01-04T22:30:21Z)
• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• DeepGate3: Towards Scalable Circuit Representation Learning [9.910071321534682]
  回路表現学習は電子設計自動化(EDA)の分野を前進させる有望な成果を示した DeepGate Familyのような既存のモデルは、主にグラフニューラルネットワーク(GNN)を使用して、回路網リストをゲートレベルの埋め込みにエンコードする。 我々は,最初のGNN処理に従ってTransformerモジュールを統合する拡張アーキテクチャであるDeepGate3を紹介する。
  論文  参考訳（メタデータ） (2024-07-15T02:44:21Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Automatic Graph Topology-Aware Transformer [50.2807041149784]
  マイクロレベルおよびマクロレベルの設計による包括的グラフトランスフォーマー検索空間を構築した。 EGTASはマクロレベルでのグラフトランスフォーマートポロジとマイクロレベルでのグラフ認識戦略を進化させる。 グラフレベルおよびノードレベルのタスクに対して,EGTASの有効性を示す。
  論文  参考訳（メタデータ） (2024-05-30T07:44:31Z)
• Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization [6.799413002613627]
  Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-02T23:05:30Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。