論文の概要: Efficient Edge-aware Attention Network for Graph Generation

• arxiv url: http://arxiv.org/abs/2610.28618v1
• Date: Tue, 20 Oct 2026 17:56:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.977423
• Title: Efficient Edge-aware Attention Network for Graph Generation
• Title（参考訳）: グラフ生成のためのエッジ・アウェア・アテンション・ネットワーク
• Abstract要約: グラフ生成モデルは一般的に、ノードとエッジの機能を共同で更新するためにグラフ固有のトランスフォーマーアーキテクチャを使用する。 本稿では,頭部のスコア変調による構造情報を含むグラフ生成のためのエッジアウェアアテンション層を提案する。 ピークGPUメモリを約65%削減し、トレーニングとサンプリングスループットを大幅に改善しながら、ベースラインと同じような生成品質を実現しています。
• 参考スコア（独自算出の注目度）: 33.07632085626344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph generative models commonly use graph-specific Transformer architectures to jointly update node and edge features. However, these architectures do not directly benefit from recent hardware-aware attention implementations, limiting their scalability. The adaptation is, however, non-trivial: edge and graph-level features must be injected into pairwise attention scores, graph masks must be respected, and dynamic edge updates remain a major source of quadratic memory usage. We propose an edge-aware attention layer for graph generation that incorporates structural information through head-wise score modulation, while updating edge representations with a lightweight residual mechanism that retains attention-score dependent edge updates. This layer can be effectively implemented using PyTorch's FlexAttention. We achieve similar generation quality to our baseline while reducing peak GPU memory by around 65% and substantially improving training and sampling throughput. These results suggest that the proposed architecture is a practical step toward scalable graph foundation models.
• Abstract（参考訳）: グラフ生成モデルは一般的に、ノードとエッジの機能を共同で更新するためにグラフ固有のトランスフォーマーアーキテクチャを使用する。 しかしながら、これらのアーキテクチャは、スケーラビリティを制限し、近年のハードウェアに注目する実装から直接的に恩恵を受けない。 エッジとグラフレベルの特徴をペアの注意点に注入し、グラフマスクを尊重し、動的エッジ更新は二次記憶の使用の主要な源である。 本稿では,注目スコア依存エッジ更新を保持する軽量な残差機構でエッジ表現を更新しながら,頭部のスコア変調による構造情報を含むグラフ生成のためのエッジ対応アテンション層を提案する。 このレイヤは、PyTorchのFlexAttentionを使って効果的に実装できる。 ピークGPUメモリを約65%削減し、トレーニングとサンプリングスループットを大幅に改善しながら、ベースラインと同じような生成品質を実現しています。 これらの結果は,提案アーキテクチャがスケーラブルグラフ基盤モデルへの実践的な一歩であることを示唆している。

関連論文リスト

• Scalable Graph Generative Modeling via Substructure Sequences [50.32639806800683]
  本稿では,グラフ生成用トランスフォーマー事前学習フレームワークである生成グラフパターンマシン(G$2$PM)を紹介する。 G$2$PMはグラフインスタンス(ノード、エッジ、グラフ全体)をサブ構造のシーケンスとして表現する。 それは、一般化可能かつ伝達可能な表現を学ぶために、シーケンスに関する生成的事前学習を採用する。
  論文  参考訳（メタデータ） (2025-05-22T02:16:34Z)
• Feature propagation as self-supervision signals on graphs [0.0]
  正規化グラフ情報最大(RGI)は、ノードレベルの自己教師型学習のためのシンプルだが効果的なフレームワークである。 RGIは,その単純さに拘わらず,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2023-03-15T14:20:06Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• SoftEdge: Regularizing Graph Classification with Random Soft Edges [18.165965620873745]
  グラフデータ拡張はグラフニューラルネットワーク(GNN)の正規化において重要な役割を果たす 単純なエッジとノード操作は、同じ構造を持つグラフや、GNNをメッセージパッシングするための区別できない構造を生成することができる。 我々は,任意のグラフのエッジの一部にランダムな重みを割り当てて,そのグラフ上の動的近傍を構築するSoftEdgeを提案する。
  論文  参考訳（メタデータ） (2022-04-21T20:12:36Z)
• From block-Toeplitz matrices to differential equations on graphs: towards a general theory for scalable masked Transformers [44.074479731587786]
  線形因果的注意に関する最近の結果は、この一般的なメカニズムの特別な事例であることを示す。 この問題を無作為な注意のトポロジカルな(グラフに基づく)変調としてキャストすることで、以前にも知られていなかったいくつかの結果が得られる。
  論文  参考訳（メタデータ） (2021-07-16T16:39:10Z)
• Training Robust Graph Neural Networks with Topology Adaptive Edge Dropping [116.26579152942162]
  グラフニューラルネットワーク(GNN)は、グラフ構造情報を利用してネットワークデータから表現をモデル化する処理アーキテクチャである。 彼らの成功にもかかわらず、GNNは限られた訓練データから得られる準最適一般化性能に悩まされている。 本稿では、一般化性能を改善し、堅牢なGNNモデルを学習するためのトポロジ適応エッジドロップ法を提案する。
  論文  参考訳（メタデータ） (2021-06-05T13:20:36Z)
• GraphMI: Extracting Private Graph Data from Graph Neural Networks [59.05178231559796]
  GNNを反転させてトレーニンググラフのプライベートグラフデータを抽出することを目的とした textbfGraph textbfModel textbfInversion attack (GraphMI) を提案する。 具体的には,グラフ特徴の空間性と滑らかさを保ちながら,グラフエッジの離散性に対処する勾配モジュールを提案する。 エッジ推論のためのグラフトポロジ、ノード属性、ターゲットモデルパラメータを効率的に活用するグラフ自動エンコーダモジュールを設計する。
  論文  参考訳（メタデータ） (2021-06-05T07:07:52Z)
• Heuristic Semi-Supervised Learning for Graph Generation Inspired by Electoral College [80.67842220664231]
  本稿では,新たなノードやエッジを自動的に拡張して,高密度サブグラフ内のラベル類似性を向上する,新しい前処理手法であるElectoral College(ELCO)を提案する。 テストされたすべての設定において、我々の手法はベースモデルの平均スコアを4.7ポイントの広いマージンで引き上げるとともに、常に最先端のモデルよりも優れています。
  論文  参考訳（メタデータ） (2020-06-10T14:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。