論文の概要: Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures

• arxiv url: http://arxiv.org/abs/2412.21046v1
• Date: Mon, 30 Dec 2024 16:07:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:05:00.547771
• Title: Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures
• Title（参考訳）: トランケーションギャップを念頭に - 再帰的アーキテクチャによる動的グラフ学習の課題
• Authors: João Bravo, Jacopo Bono, Pedro Saleiro, Hugo Ferreira, Pedro Bizarro,
• Abstract要約: 連続時間動的グラフ(CTDG)は、機械学習(ML)アプローチに課題を提起する。 BPTT (Back Proagation-through-time) の短絡により, 1ホップ以上の依存関係の学習を制限できることが示されている。 我々はCTDGの重要性が増すにつれて、このギャップの理解と解決が不可欠であると主張する。
• 参考スコア（独自算出の注目度）: 10.434476078553786
• License:
• Abstract: Systems characterized by evolving interactions, prevalent in social, financial, and biological domains, are effectively modeled as continuous-time dynamic graphs (CTDGs). To manage the scale and complexity of these graph datasets, machine learning (ML) approaches have become essential. However, CTDGs pose challenges for ML because traditional static graph methods do not naturally account for event timings. Newer approaches, such as graph recurrent neural networks (GRNNs), are inherently time-aware and offer advantages over static methods for CTDGs. However, GRNNs face another issue: the short truncation of backpropagation-through-time (BPTT), whose impact has not been properly examined until now. In this work, we demonstrate that this truncation can limit the learning of dependencies beyond a single hop, resulting in reduced performance. Through experiments on a novel synthetic task and real-world datasets, we reveal a performance gap between full backpropagation-through-time (F-BPTT) and the truncated backpropagation-through-time (T-BPTT) commonly used to train GRNN models. We term this gap the "truncation gap" and argue that understanding and addressing it is essential as the importance of CTDGs grows, discussing potential future directions for research in this area.
• Abstract（参考訳）: 社会的、財政的、生物学的領域で広く用いられている進化的相互作用を特徴とするシステムは、効果的にCTDG(Continuous-time dynamic graph)としてモデル化される。 これらのグラフデータセットのスケールと複雑さを管理するためには、機械学習(ML)アプローチが不可欠である。 しかしCTDGは、従来の静的グラフ法がイベントのタイミングを自然に考慮していないため、MLの課題を提起する。 グラフリカレントニューラルネットワーク(GRNN)のような新しいアプローチは本質的にタイムアウェアであり、CTDGの静的メソッドよりも有利である。 しかし、GRNNは、バックプロパゲーション・スルータイム(BPTT)の短絡という別の問題に直面している。 本研究では,この切り離しによって単一ホップを超える依存性の学習が制限され,性能が低下することを示す。 新たな合成タスクと実世界のデータセットの実験を通して、GRNNモデルのトレーニングに一般的に使用されるフルバックプロパゲーション・スルータイム(F-BPTT)とトラッピングバックプロパゲーション・スルータイム(T-BPTT)のパフォーマンスギャップを明らかにする。 我々はこのギャップを「切り離しギャップ」と呼び、CTDGの重要性が高まるにつれて理解と対処が不可欠であり、この分野の研究の今後の方向性について議論する。

関連論文リスト

• GINTRIP: Interpretable Temporal Graph Regression using Information bottleneck and Prototype-based method [7.570969633244954]
  本稿では,時間グラフ回帰モデルの解釈可能性を高める新しい手法を提案する。 IB原則の適用性をグラフ回帰タスクに拡張する、相互情報(MI)に基づく新たな理論的境界を導出する。 本モデルは実世界のトラフィックデータセットに基づいて評価され,予測精度と解釈可能性関連指標の両方において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-09-17T08:58:40Z)
• DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning [38.53424185696828]
  離散時間動的グラフ(DTDG)の表現学習は、時間的に変化するエンティティとその進化する接続のダイナミクスをモデル化するために広く応用されている。 本稿では,従来の GNN+RNN フレームワークから Transformer ベースのアーキテクチャへ移行した DTDG のための表現学習手法 DTFormer を提案する。
  論文  参考訳（メタデータ） (2024-07-26T05:46:23Z)
• Gradient Transformation: Towards Efficient and Model-Agnostic Unlearning for Dynamic Graph Neural Networks [66.70786325911124]
  グラフアンラーニングは、ユーザのプライバシ保護と、望ましくないデータによるネガティブな影響軽減に不可欠なツールとして登場した。 DGNNの普及に伴い、動的グラフアンラーニングの実装を検討することが不可欠となる。 DGNNアンラーニングを実装するために,効率的,効率的,モデルに依存しない,事後処理手法を提案する。
  論文  参考訳（メタデータ） (2024-05-23T10:26:18Z)
• Exploring Time Granularity on Temporal Graphs for Dynamic Link Prediction in Real-world Networks [0.48346848229502226]
  動的グラフニューラルネットワーク(DGNN)は、動的グラフ構造化データを処理するための主要なアプローチである。 本稿では,DGNNを訓練する際の時間粒度が動的グラフに与える影響について,広範な実験を通して検討する。
  論文  参考訳（メタデータ） (2023-11-21T00:34:53Z)
• DyExplainer: Explainable Dynamic Graph Neural Networks [37.16783248212211]
  我々は,動的グラフニューラルネットワーク(GNN)を高速に説明するための新しいアプローチであるDyExplainerを提案する。 DyExplainerは動的なGNNバックボーンをトレーニングし、各スナップショットでグラフの表現を抽出する。 また,事前指導型正規化を実現するために,コントラスト学習技術によるアプローチも強化する。
  論文  参考訳（メタデータ） (2023-10-25T05:26:33Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• EasyDGL: Encode, Train and Interpret for Continuous-time Dynamic Graph Learning [92.71579608528907]
  本稿では,3つのモジュールから構成される使い勝手の良いパイプライン(EasyDGL)を設計することを目的とする。 EasyDGLは、進化するグラフデータからモデルが学習する周波数コンテンツの予測力を効果的に定量化することができる。
  論文  参考訳（メタデータ） (2023-03-22T06:35:08Z)
• Space-Time Graph Neural Networks with Stochastic Graph Perturbations [100.31591011966603]
  時空間グラフニューラルネットワーク(ST-GNN)は、時間変動データの効率的なグラフ表現を学習する。 本稿では,ST-GNNの特性を再検討し,安定なグラフ安定性を示す。 解析の結果,ST-GNNは時間変化グラフ上での移動学習に適していることが示唆された。
  論文  参考訳（メタデータ） (2022-10-28T16:59:51Z)
• Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural Networks [52.566735716983956]
  本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。 LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。 提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2022-07-18T14:23:31Z)
• Spatio-Temporal Joint Graph Convolutional Networks for Traffic Forecasting [75.10017445699532]
  近年、時間グラフモデリング問題として交通予測の定式化に焦点が移っている。 本稿では,道路網における交通予測の精度向上のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-25T08:45:14Z)
• Spatio-Temporal Graph Scattering Transform [54.52797775999124]
  グラフニューラルネットワークは、十分な高品質のトレーニングデータがないために、現実のシナリオでは実用的ではないかもしれない。 我々は時間的データを解析するための数学的に設計された新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2020-12-06T19:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。