論文の概要: On the Generalization Capability of Temporal Graph Learning Algorithms:
Theoretical Insights and a Simpler Method
- arxiv url: http://arxiv.org/abs/2402.16387v1
- Date: Mon, 26 Feb 2024 08:22:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 14:03:29.851195
- Title: On the Generalization Capability of Temporal Graph Learning Algorithms:
Theoretical Insights and a Simpler Method
- Title（参考訳）: 時間グラフ学習アルゴリズムの一般化能力について : 理論的洞察と簡易化法
- Authors: Weilin Cong, Jian Kang, Hanghang Tong, Mehrdad Mahdavi
- Abstract要約: テンポラルグラフ学習(TGL)は、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。
本稿では,異なるTGLアルゴリズムの一般化能力について検討する。
一般化誤差が小さく、全体的な性能が向上し、モデルの複雑さが低下する単純化されたTGLネットワークを提案する。
- 参考スコア（独自算出の注目度）: 59.52204415829695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal Graph Learning (TGL) has become a prevalent technique across diverse
real-world applications, especially in domains where data can be represented as
a graph and evolves over time. Although TGL has recently seen notable progress
in algorithmic solutions, its theoretical foundations remain largely
unexplored. This paper aims at bridging this gap by investigating the
generalization ability of different TGL algorithms (e.g., GNN-based, RNN-based,
and memory-based methods) under the finite-wide over-parameterized regime. We
establish the connection between the generalization error of TGL algorithms and
"the number of layers/steps" in the GNN-/RNN-based TGL methods and "the
feature-label alignment (FLA) score", where FLA can be used as a proxy for the
expressive power and explains the performance of memory-based methods. Guided
by our theoretical analysis, we propose Simplified-Temporal-Graph-Network,
which enjoys a small generalization error, improved overall performance, and
lower model complexity. Extensive experiments on real-world datasets
demonstrate the effectiveness of our method. Our theoretical findings and
proposed algorithm offer essential insights into TGL from a theoretical
standpoint, laying the groundwork for the designing practical TGL algorithms in
future studies.
- Abstract（参考訳）: テンポラルグラフ学習(TGL)は、特にデータをグラフとして表現し、時間とともに進化する領域において、様々な現実世界のアプリケーションにまたがる一般的なテクニックとなっている。
TGLは最近、アルゴリズム解の顕著な進歩をみせたが、その理論的基礎はほとんど未解明のままである。
本稿では,TGLアルゴリズムの一般化能力(GNNベース,RNNベース,メモリベースなど)を有限範囲のオーバーパラメータ化体制下で検証することにより,このギャップを埋めることを目的とする。
我々は,TGLアルゴリズムの一般化誤差と,GNN-/RNNベースのTGL手法の"レイヤ/ステップ数"と,FLAを表現力のプロキシとして使用可能な特徴ラベルアライメント(FLA)スコアとの接続を確立し,メモリベースの手法の性能を説明する。
そこで本論文では,理論解析により一般化誤差が小さく,全体的な性能が向上し,モデルの複雑さが低下する,簡易化グラフネットワークを提案する。
実世界のデータセットに対する大規模な実験により,本手法の有効性が示された。
我々の理論的な知見と提案アルゴリズムは、理論的な観点からTGLに不可欠な洞察を与え、将来の研究における実用的なTGLアルゴリズムの設計の基礎を築いた。
関連論文リスト
- Graph Classification via Reference Distribution Learning: Theory and Practice [24.74871206083017]
グラフ参照分布学習(GRDL, Graph Reference Distribution Learning)は, グラフの効率的な分類法である。
GRDLはGNN層によって与えられるグラフの潜在ノード埋め込みを離散分布として扱い、グローバルプールなしで直接分類できる。
中規模および大規模グラフデータセットの実験は、GRDLが最先端よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-08-21T06:42:22Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Iterative Graph Neural Network Enhancement via Frequent Subgraph Mining
of Explanations [0.0]
我々は、説明強化グラフ学習(EEGL)と呼ばれるノード分類のためのグラフニューラルネットワーク(GNN)のためのXAIベースのモデル改善アプローチを定式化する。
目的は、説明を用いてGNNの予測性能を改善することである。
EEGLは、学習された"バニラ"GNNから始まる反復的な自己改善アルゴリズムであり、頻繁にサブグラフマイニングを使用して説明サブグラフの関連パターンを見つける。
論文 参考訳（メタデータ） (2024-03-12T17:41:27Z) - Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。
非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
論文 参考訳（メタデータ） (2023-05-29T04:51:09Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳（メタデータ） (2021-06-09T08:05:36Z) - Fast Learning of Graph Neural Networks with Guaranteed Generalizability:
One-hidden-layer Case [93.37576644429578]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。
回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
論文 参考訳（メタデータ） (2020-06-25T00:45:52Z) - Iterative Deep Graph Learning for Graph Neural Networks: Better and
Robust Node Embeddings [53.58077686470096]
グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。
実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
論文 参考訳（メタデータ） (2020-06-21T19:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。