論文の概要: Fast and Robust Contextual Node Representation Learning over Dynamic Graphs

• arxiv url: http://arxiv.org/abs/2411.07123v1
• Date: Mon, 11 Nov 2024 16:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:11:31.208451
• Title: Fast and Robust Contextual Node Representation Learning over Dynamic Graphs
• Title（参考訳）: 動的グラフを用いた高速かつロバストなコンテキストノード表現学習
• Authors: Xingzhi Guo, Silong Wang, Baojian Zhou, Yanghua Xiao, Steven Skiena,
• Abstract要約: 本稿では,疎度ノードの注目度に基づく動的グラフ学習フレームワークを提案する。 我々は,STOA GNNにおけるPPRの選択を正当化するために,所望のプロパティセットを提案する。 また、PPRに等価な最適化形式を利用して、PPRベースのGNNの効率を最大6倍に向上する。
• 参考スコア（独自算出の注目度）: 45.54510541781756
• License:
• Abstract: Real-world graphs grow rapidly with edge and vertex insertions over time, motivating the problem of efficiently maintaining robust node representation over evolving graphs. Recent efficient GNNs are designed to decouple recursive message passing from the learning process, and favor Personalized PageRank (PPR) as the underlying feature propagation mechanism. However, most PPR-based GNNs are designed for static graphs, and efficient PPR maintenance remains as an open problem. Further, there is surprisingly little theoretical justification for the choice of PPR, despite its impressive empirical performance. In this paper, we are inspired by the recent PPR formulation as an explicit $\ell_1$-regularized optimization problem and propose a unified dynamic graph learning framework based on sparse node-wise attention. We also present a set of desired properties to justify the choice of PPR in STOA GNNs, and serves as the guideline for future node attention designs. Meanwhile, we take advantage of the PPR-equivalent optimization formulation and employ the proximal gradient method (ISTA) to improve the efficiency of PPR-based GNNs upto 6 times. Finally, we instantiate a simple-yet-effective model (\textsc{GoPPE}) with robust positional encodings by maximizing PPR previously used as attention. The model performs comparably to or better than the STOA baselines and greatly outperforms when the initial node attributes are noisy during graph evolution, demonstrating the effectiveness and robustness of \textsc{GoPPE}.
• Abstract（参考訳）: 実世界のグラフは、エッジや頂点の挿入とともに時間とともに急速に成長し、進化するグラフよりも堅牢なノード表現を効率的に維持する問題の動機となっている。 最近の効率的なGNNは、学習プロセスから再帰的なメッセージパッシングを分離するように設計されており、Personalized PageRank(PPR)を基礎となる機能伝搬メカニズムとして好んでいる。 しかし、ほとんどのPPRベースのGNNは静的グラフ用に設計されており、効率的なPPRメンテナンスは未解決の問題である。 さらに、印象的な経験的性能にもかかわらず、PPRの選択には驚くほど理論上の正当性はほとんどない。 本稿では,近年のPPRの定式化に着想を得た上で,ノード単位の疎度に基づく動的グラフ学習フレームワークを提案する。 また、STOA GNNにおけるPPRの選択を正当化するために所望のプロパティセットを提示し、将来のノードアテンション設計のガイドラインとして機能する。 一方,PPRと等価な最適化形式を利用して,近位勾配法(ISTA)を用いてPPRベースのGNNの効率を最大6倍に向上する。 最後に、PPRを最大化することで、ロバストな位置エンコーディングを持つ単純なyet効果モデル(\textsc{GoPPE})をインスタンス化する。 このモデルはSTOAベースラインと同等かそれ以上に動作し、グラフの進化中に初期ノード属性がうるさくなり、textsc{GoPPE}の有効性とロバスト性を示す。

関連論文リスト

• Reliable and Compact Graph Fine-tuning via GraphSparse Prompting [24.381392096420402]
  グラフプロンプトおよびグラフスパースプロンプト(GSP)におけるスパース表現理論の活用を提案する。 GSPは、下流タスクのコンパクトなプロンプトを達成するために最適な要素を適応的かつ簡潔に選択することを目的としている。 GSFP と GSmFP モデルを解くために、単純で効果的なアルゴリズムが設計された。
  論文  参考訳（メタデータ） (2024-10-29T05:31:14Z)
• Efficient and Effective Implicit Dynamic Graph Neural Network [42.49148111696576]
  Indicit Dynamic Graph Neural Network (IDGNN) は動的グラフのための新しい暗黙的ニューラルネットワークである。 IDGNNの鍵となる特徴は、それが実証的に良好である、すなわち、固定点表現を持つことが理論的に保証されていることである。
  論文  参考訳（メタデータ） (2024-06-25T19:07:21Z)
• Rethinking Node-wise Propagation for Large-scale Graph Learning [42.29535580297932]
  textbfAdaptive textbfTopology-aware textbfPropagation (ATP) ATPは潜在的な高バイアス伝播を低減し、各ノードの構造パターンをスケーラブルに抽出し、実行効率と予測性能を改善する。 ATPは、半教師付きノード分類のための広範でスケーラブルなGNNの性能を改善するのに効率的であることが証明されている。
  論文  参考訳（メタデータ） (2024-02-09T01:19:47Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Temporal Aggregation and Propagation Graph Neural Networks for Dynamic Representation [67.26422477327179]
  時間グラフは連続時間を通してノード間の動的相互作用を示す。 本研究では,周辺地域全体と時間的グラフ畳み込みの新たな手法を提案する。 提案するTAP-GNNは,予測性能とオンライン推論遅延の両面で,既存の時間グラフ手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-04-15T08:17:18Z)
• Improving Graph Neural Networks at Scale: Combining Approximate PageRank and CoreRank [20.948992161528466]
  グラフニューラルネットワーク(GNN)の情報伝達のためのスケーラブルなソリューションを提案する。 CorePPRモデルは、およそパーソナライズされたPageRankとCoreRankの学習可能な凸の組み合わせを使用して、GNN内のマルチホップ近隣情報を拡散する。 CorePPRはPPRGoよりも大きなグラフで優れており、最も影響力のあるノードを選択することはスケーラビリティに特に関係している。
  論文  参考訳（メタデータ） (2022-11-08T13:51:49Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Scaling Graph Neural Networks with Approximate PageRank [64.92311737049054]
  GNNにおける情報拡散の効率的な近似を利用したPPRGoモデルを提案する。 高速であることに加えて、PPRGoは本質的にスケーラブルであり、業界設定で見られるような大規模なデータセットに対して、自明に並列化することができる。 このグラフのすべてのノードに対するPPRGoのトレーニングとラベルの予測には1台のマシンで2分未満で、同じグラフ上の他のベースラインをはるかに上回ります。
  論文  参考訳（メタデータ） (2020-07-03T09:30:07Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。