論文の概要: Stable Transformers for Graph Generation

• arxiv url: http://arxiv.org/abs/2609.39739v1
• Date: Wed, 30 Sep 2026 13:42:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.85335
• Title: Stable Transformers for Graph Generation
• Title（参考訳）: グラフ生成用安定変圧器
• Abstract要約: グラフ生成モデルは、ノードとエッジ間の複雑な依存関係をキャプチャするために、グラフトランスフォーマー(GT)にますます依存している。 標準GTデノイザは,深さが大きくなるにつれて散逸しやすくなり,勾配の消失や表現の崩壊につながることを示す。 非散逸的な状態とますます収縮的な状態の間に連続的に補間する減衰機構を導入する。
• 参考スコア（独自算出の注目度）: 23.576728698956302
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph generative models increasingly rely on Graph Transformers (GT) to capture complex dependencies among nodes and edges. While deeper architectures should provide greater expressive capacity and a broader receptive field, their effectiveness can decline with depth: repeated self-attention progressively contracts node representations, impeding information flow and gradient propagation. We analyse this phenomenon from a dynamical systems perspective, focusing on how the denoiser's spectral dynamics affect graph generation. We show that standard GT denoisers become increasingly dissipative as depth grows, leading to vanishing gradients and representation collapse. To isolate the effect of these dynamics, we construct a permutation-equivariant GT with inherently stable, non-dissipative transport. We also introduce a damping mechanism that continuously interpolates between non-dissipative and increasingly contractive regimes, enabling a direct assessment of how dissipation influences generation. Experiments on synthetic and molecular graph generation benchmarks show that the gap between these regimes widens with depth: non-dissipative dynamics preserve representation diversity and gradient flow, sustaining strong generative performance, whereas greater contraction progressively impairs it. These findings identify the denoiser's dynamical regime as a key design factor for deep graph generative models.
• Abstract（参考訳）: グラフ生成モデルは、ノードとエッジ間の複雑な依存関係をキャプチャするために、グラフトランスフォーマー(GT)にますます依存している。 より深いアーキテクチャは、より表現力のある能力とより広い受容領域を提供するべきであるが、その効果は深さとともに減少する可能性がある。 我々は、この現象を力学系の観点から分析し、デノイザーのスペクトル力学がグラフ生成にどのように影響するかに焦点を当てる。 標準GTデノイザは,深さが大きくなるにつれて散逸しやすくなり,勾配の消失や表現の崩壊につながることを示す。 これらのダイナミクスの効果を分離するために、本質的に安定で非散逸性輸送を持つ置換同変GTを構築する。 また,非散逸的な体制とますます収縮する体制の間に連続的に補間する減衰機構を導入し,散逸が生成にどのように影響するかを直接評価する。 非散逸力学は表現の多様性と勾配の流れを保ち、強力な生成性能を保ちながら、より大きい収縮は徐々にそれを損なう。 これらの結果から,ディープグラフ生成モデルの鍵となる設計因子として,デノイザーの力学系が同定された。

関連論文リスト

• The Information Dynamics of Generative Diffusion [12.52425103385255]
  生成拡散モデルは、機械学習における強力なモデルのクラスとして登場した。 本稿では, それらの動的・情報論的・熱力学的特性を結合させることにより, 生成拡散の総合的な視点を提供する。
  論文  参考訳（メタデータ） (2025-08-27T13:53:56Z)
• GraphTorque: Torque-Driven Rewiring Graph Neural Network [24.311681447733346]
  ヘテロ親和性グラフとホモ親和性グラフの表現学習を改善するために,トルク駆動型階層的再配線戦略を提案する。 我々は,各層の階層的受容場を,高トルクエッジを任意に刈り上げ,低トルクリンクを追加することで再構成する。 提案手法は, ヘテロフィルグラフとホモフィルグラフの両面において, 最先端の切り換え手法を超越した手法である。
  論文  参考訳（メタデータ） (2025-07-29T01:14:27Z)
• SeaDAG: Semi-autoregressive Diffusion for Conditional Directed Acyclic Graph Generation [83.52157311471693]
  方向性非巡回グラフ(DAG)の条件生成のための半自己回帰拡散モデルSeaDAGを紹介する。 グローバルグラフ構造を欠いた従来の自己回帰生成とは異なり,本手法は拡散ステップ毎に完全なグラフ構造を保持する。 本研究では,現実的なDAGを生成する拡散モデルの能力を高めるために,条件損失を伴うグラフ条件学習を明示的に訓練する。
  論文  参考訳（メタデータ） (2024-10-21T15:47:03Z)
• Port-Hamiltonian Architectural Bias for Long-Range Propagation in Deep Graph Networks [55.227976642410766]
  グラフ内の情報拡散のダイナミクスは、グラフ表現学習に大きな影響を及ぼす重要なオープン問題である。 そこで我々は(ポート-)Hamiltonian Deep Graph Networksを紹介した。 我々は,非散逸的長距離伝播と非保守的行動の両方を,単一の理論的・実践的な枠組みで調整する。
  論文  参考訳（メタデータ） (2024-05-27T13:36:50Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [67.35058947477631]
  本稿では,DP-Noise や DP-Mask などの拡張グラフを多角化しながら,重要なグラフ特性を維持できるDual-Prism (DP) 拡張手法を提案する。 大規模な実験により、我々のアプローチの効率が検証され、グラフデータ拡張のための新しい有望な方向が提供される。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference [48.63194907060615]
  半単純グラフ変分自動エンコーダを用いて,低次元グラフ潜在表現における高次統計量を取得する。 我々は、階層構造を示すグラフを効率的に表現するために、ポインケア埋め込みを通して潜在空間に双曲幾何学を組み込む。
  論文  参考訳（メタデータ） (2020-10-31T05:48:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。