論文の概要: Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures

• arxiv url: http://arxiv.org/abs/2412.21046v1
• Date: Mon, 30 Dec 2024 16:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:05:00.547771
• Title: Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures
• Title（参考訳）: トランケーションギャップを念頭に - 再帰的アーキテクチャによる動的グラフ学習の課題
• Authors: João Bravo, Jacopo Bono, Pedro Saleiro, Hugo Ferreira, Pedro Bizarro,
• Abstract要約: 連続時間動的グラフ(CTDG)は、機械学習(ML)アプローチに課題を提起する。 BPTT (Back Proagation-through-time) の短絡により, 1ホップ以上の依存関係の学習を制限できることが示されている。 我々はCTDGの重要性が増すにつれて、このギャップの理解と解決が不可欠であると主張する。
• 参考スコア（独自算出の注目度）: 10.434476078553786
• License:
• Abstract: Systems characterized by evolving interactions, prevalent in social, financial, and biological domains, are effectively modeled as continuous-time dynamic graphs (CTDGs). To manage the scale and complexity of these graph datasets, machine learning (ML) approaches have become essential. However, CTDGs pose challenges for ML because traditional static graph methods do not naturally account for event timings. Newer approaches, such as graph recurrent neural networks (GRNNs), are inherently time-aware and offer advantages over static methods for CTDGs. However, GRNNs face another issue: the short truncation of backpropagation-through-time (BPTT), whose impact has not been properly examined until now. In this work, we demonstrate that this truncation can limit the learning of dependencies beyond a single hop, resulting in reduced performance. Through experiments on a novel synthetic task and real-world datasets, we reveal a performance gap between full backpropagation-through-time (F-BPTT) and the truncated backpropagation-through-time (T-BPTT) commonly used to train GRNN models. We term this gap the "truncation gap" and argue that understanding and addressing it is essential as the importance of CTDGs grows, discussing potential future directions for research in this area.
• Abstract（参考訳）: 社会的、財政的、生物学的領域で広く用いられている進化的相互作用を特徴とするシステムは、効果的にCTDG(Continuous-time dynamic graph)としてモデル化される。 これらのグラフデータセットのスケールと複雑さを管理するためには、機械学習(ML)アプローチが不可欠である。 しかしCTDGは、従来の静的グラフ法がイベントのタイミングを自然に考慮していないため、MLの課題を提起する。 グラフリカレントニューラルネットワーク(GRNN)のような新しいアプローチは本質的にタイムアウェアであり、CTDGの静的メソッドよりも有利である。 しかし、GRNNは、バックプロパゲーション・スルータイム(BPTT)の短絡という別の問題に直面している。 本研究では,この切り離しによって単一ホップを超える依存性の学習が制限され,性能が低下することを示す。 新たな合成タスクと実世界のデータセットの実験を通して、GRNNモデルのトレーニングに一般的に使用されるフルバックプロパゲーション・スルータイム(F-BPTT)とトラッピングバックプロパゲーション・スルータイム(T-BPTT)のパフォーマンスギャップを明らかにする。 我々はこのギャップを「切り離しギャップ」と呼び、CTDGの重要性が高まるにつれて理解と対処が不可欠であり、この分野の研究の今後の方向性について議論する。

関連論文リスト

• ScaDyG:A New Paradigm for Large-scale Dynamic Graph Learning [31.629956388962814]
  ScaDyGは動的グラフネットワークのためのタイムアウェアなスケーラブルな学習パラダイムである。 12のデータセットの実験では、ScaDyGは、ノードレベルとリンクレベルの両方の下流タスクにおいて、互換性のあるパフォーマンス、あるいは他のSOTAメソッドよりも優れています。
  論文  参考訳（メタデータ） (2025-01-27T12:39:16Z)
• ST-FiT: Inductive Spatial-Temporal Forecasting with Limited Training Data [59.78770412981611]
  現実世界のアプリケーションでは、ほとんどのノードはトレーニング中に利用可能な時間データを持っていないかもしれない。 この問題に対処するために,ST-FiTというフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-14T17:51:29Z)
• Temporal-Aware Evaluation and Learning for Temporal Graph Neural Networks [2.3043270848984]
  時間グラフニューラルネットワーク(TGNN)は、時間グラフから動的情報をモデル化し、学習するために設計されたグラフニューラルネットワークのファミリーである。 本稿では,TGNNの一般的な評価基準について検討し,本質的な時間構造を捉える上でのこれらの指標の故障機構について述べる。 本稿では、モデル時間性能のより洗練された分析を目的とした、新しいボラティリティ対応評価指標(決定ボラティリティクラスタ統計)を提案する。
  論文  参考訳（メタデータ） (2024-12-10T07:56:33Z)
• Exploring Time Granularity on Temporal Graphs for Dynamic Link Prediction in Real-world Networks [0.48346848229502226]
  動的グラフニューラルネットワーク(DGNN)は、動的グラフ構造化データを処理するための主要なアプローチである。 本稿では,DGNNを訓練する際の時間粒度が動的グラフに与える影響について,広範な実験を通して検討する。
  論文  参考訳（メタデータ） (2023-11-21T00:34:53Z)
• DyExplainer: Explainable Dynamic Graph Neural Networks [37.16783248212211]
  我々は,動的グラフニューラルネットワーク(GNN)を高速に説明するための新しいアプローチであるDyExplainerを提案する。 DyExplainerは動的なGNNバックボーンをトレーニングし、各スナップショットでグラフの表現を抽出する。 また,事前指導型正規化を実現するために,コントラスト学習技術によるアプローチも強化する。
  論文  参考訳（メタデータ） (2023-10-25T05:26:33Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning [92.71579608528907]
  本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。 EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
  論文  参考訳（メタデータ） (2023-03-22T06:35:08Z)
• Space-Time Graph Neural Networks with Stochastic Graph Perturbations [100.31591011966603]
  時空間グラフニューラルネットワーク(ST-GNN)は、時間変動データの効率的なグラフ表現を学習する。 本稿では,ST-GNNの特性を再検討し,安定なグラフ安定性を示す。 解析の結果,ST-GNNは時間変化グラフ上での移動学習に適していることが示唆された。
  論文  参考訳（メタデータ） (2022-10-28T16:59:51Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Spatio-Temporal Joint Graph Convolutional Networks for Traffic Forecasting [75.10017445699532]
  近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。 本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T08:45:14Z)
• Spatio-Temporal Graph Scattering Transform [54.52797775999124]
  グラフニューラルネットワークは、十分な高品質のトレーニングデータがないために、現実のシナリオでは実用的ではないかもしれない。 我々は時間的データを解析するための数学的に設計された新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2020-12-06T19:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。