論文の概要: Supercharging Graph Transformers with Advective Diffusion

• arxiv url: http://arxiv.org/abs/2310.06417v3
• Date: Sat, 31 May 2025 17:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-03 16:22:42.65364
• Title: Supercharging Graph Transformers with Advective Diffusion
• Title（参考訳）: 対流拡散による超荷電グラフ変換器
• Authors: Qitian Wu, Chenxiao Yang, Kaipeng Zeng, Michael Bronstein,
• Abstract要約: 本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルAdvDIFFormerを提案する。 本稿では,AdvDIFFormerが位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。
• 参考スコア（独自算出の注目度）: 28.40109111316014
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The capability of generalization is a cornerstone for the success of modern learning systems. For non-Euclidean data, e.g., graphs, that particularly involves topological structures, one important aspect neglected by prior studies is how machine learning models generalize under topological shifts. This paper proposes AdvDIFFormer, a physics-inspired graph Transformer model designed to address this challenge. The model is derived from advective diffusion equations which describe a class of continuous message passing process with observed and latent topological structures. We show that AdvDIFFormer has provable capability for controlling generalization error with topological shifts, which in contrast cannot be guaranteed by graph diffusion models. Empirically, the model demonstrates superiority in various predictive tasks across information networks, molecular screening and protein interactions.
• Abstract（参考訳）: 一般化の能力は、現代の学習システムの成功の基盤となっている。 非ユークリッドデータ、例えばグラフは特にトポロジカル構造を含むが、先行研究で無視された重要な側面は、機械学習モデルがトポロジカルシフトの下で一般化する方法である。 本稿では,この課題に対処するために,物理に着想を得たグラフトランスモデルAdvDIFFormerを提案する。 このモデルは、観測および潜在位相構造を持つ連続メッセージ通過過程のクラスを記述する対流拡散方程式から導かれる。 本稿では,AdvDIFFormerが,グラフ拡散モデルでは保証できない位相シフトによる一般化誤差を制御できることを示す。 経験的に、このモデルは情報ネットワーク、分子スクリーニング、タンパク質相互作用の様々な予測タスクにおいて優位性を示す。

関連論文リスト

• Do Graph Diffusion Models Accurately Capture and Generate Substructure Distributions? [28.19526635775658]
  拡散モデルは、複素グラフデータの分布スコアを正確にモデル化する普遍的な表現性を持っていない。 本研究は,対象とするグラフ分布の鍵となる特徴として,特定の部分構造の周波数に着目して,この制限に対処する。 グラフニューラルネットワーク(GNN)の表現性とグラフ拡散モデル全体の性能との理論的関係を確立する。
  論文  参考訳（メタデータ） (2025-02-04T17:04:16Z)
• What Improves the Generalization of Graph Transformers? A Theoretical Dive into the Self-attention and Positional Encoding [67.59552859593985]
  自己アテンションと位置エンコーディングを組み込んだグラフトランスフォーマーは、さまざまなグラフ学習タスクのための強力なアーキテクチャとして登場した。 本稿では,半教師付き分類のための浅いグラフ変換器の理論的検討について紹介する。
  論文  参考訳（メタデータ） (2024-06-04T05:30:16Z)
• Graph Neural Aggregation-diffusion with Metastability [4.040326569845733]
  微分方程式に基づく連続グラフニューラルモデルはグラフニューラルネット(GNN)のアーキテクチャを拡張した 相互作用ポテンシャルによって誘導される非線形拡散と凝集の微妙なバランスを含むグラフ凝集拡散方程式に着想を得たGRADEを提案する。 我々はGRADEが様々なベンチマークで競合性能を達成し、GNNにおける過度にスムースな問題を軽減することを証明した。
  論文  参考訳（メタデータ） (2024-03-29T15:05:57Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Neural Sheaf Diffusion: A Topological Perspective on Heterophily and Oversmoothing in GNNs [16.88394293874848]
  セルラーシーフ理論を用いて、グラフの基盤となる幾何学がGNNの性能と深く関連していることを示す。 一般化されたシーブの階層構造を考慮し、無限時間極限におけるクラスの線形分離を実現するための層拡散過程の能力がいかに拡大するかを考察する。 我々は, せん断が非自明な場合, 離散パラメトリック拡散過程はGNNよりもその挙動を制御できることを証明した。
  論文  参考訳（メタデータ） (2022-02-09T17:25:02Z)
• Generalization of graph network inferences in higher-order graphical models [5.33024001730262]
  確率的グラフィカルモデルは、複雑な統計構造を記述する強力なツールを提供する。 辺化のような推論は 一般グラフでは難解です 我々は,多変数相互作用を含むグラフィカルモデル上での高速な近似推定を実現するために,Recurrent Factor Graph Neural Network (RF-GNN) を定義する。
  論文  参考訳（メタデータ） (2021-07-12T20:51:27Z)
• GRAND: Graph Neural Diffusion [15.00135729657076]
  本稿では,連続拡散過程としてグラフの深層学習にアプローチするグラフニューラル拡散(GRAND)を提案する。 我々のモデルでは、層構造と位相は時間的および空間的作用素の離散化選択に対応する。 我々のモデルの成功の鍵は、データの摂動に対する安定性であり、これは暗黙的および明示的な離散化スキームの両方に対処する。
  論文  参考訳（メタデータ） (2021-06-21T09:10:57Z)
• Hyperbolic Variational Graph Neural Network for Modeling Dynamic Graphs [77.33781731432163]
  我々は,ノード表現の推論を目的とした双曲空間における動的グラフ表現を初めて学習する。 本稿では,HVGNNと呼ばれる新しいハイパーボリック変動グラフネットワークを提案する。 特に,動力学をモデル化するために,理論的に接地した時間符号化手法に基づく時間gnn(tgnn)を導入する。
  論文  参考訳（メタデータ） (2021-04-06T01:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。