論文の概要: Between Linear and Sinusoidal: Rethinking the Time Encoder in Dynamic Graph Learning

• arxiv url: http://arxiv.org/abs/2504.08129v1
• Date: Thu, 10 Apr 2025 21:12:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:17:47.348859
• Title: Between Linear and Sinusoidal: Rethinking the Time Encoder in Dynamic Graph Learning
• Title（参考訳）: 線形-正弦波間:動的グラフ学習における時間エンコーダの再考
• Authors: Hsing-Huan Chung, Shravan Chaudhari, Xing Han, Yoav Wald, Suchi Saria, Joydeep Ghosh,
• Abstract要約: TGATやDyGFormerのようなセミナルアテンションベースのモデルは、エッジイベント間の時間的関係を捉えるために正弦波時間エンコーダに依存している。 本稿では,正弦波関数による時間情報損失を回避する線形時間エンコーダを提案する。 自己注意機構は線形時間エンコーディングから時間スパンを効果的に学習し、関連する時間パターンを抽出できることを示す。
• 参考スコア（独自算出の注目度）: 12.201459405989898
• License:
• Abstract: Dynamic graph learning is essential for applications involving temporal networks and requires effective modeling of temporal relationships. Seminal attention-based models like TGAT and DyGFormer rely on sinusoidal time encoders to capture temporal relationships between edge events. In this paper, we study a simpler alternative: the linear time encoder, which avoids temporal information loss caused by sinusoidal functions and reduces the need for high dimensional time encoders. We show that the self-attention mechanism can effectively learn to compute time spans from linear time encodings and extract relevant temporal patterns. Through extensive experiments on six dynamic graph datasets, we demonstrate that the linear time encoder improves the performance of TGAT and DyGFormer in most cases. Moreover, the linear time encoder can lead to significant savings in model parameters with minimal performance loss. For example, compared to a 100-dimensional sinusoidal time encoder, TGAT with a 2-dimensional linear time encoder saves 43% of parameters and achieves higher average precision on five datasets. These results can be readily used to positively impact the design choices of a wide variety of dynamic graph learning architectures. The experimental code is available at: https://github.com/hsinghuan/dg-linear-time.git.
• Abstract（参考訳）: 動的グラフ学習は、時間的ネットワークを含むアプリケーションに必須であり、時間的関係の効果的なモデリングを必要とする。 TGATやDyGFormerのようなセミナルアテンションベースのモデルは、エッジイベント間の時間的関係を捉えるために正弦波時間エンコーダに依存している。 本稿では,正弦波関数による時間情報損失を回避し,高次元時間エンコーダの必要性を低減する線形時間エンコーダを提案する。 自己注意機構は線形時間エンコーディングから時間スパンを効果的に学習し、関連する時間パターンを抽出できることを示す。 6つの動的グラフデータセットに関する広範な実験を通して、線形時間エンコーダがほとんどの場合、TGATとDyGFormerの性能を向上させることを示した。 さらに、線形時間エンコーダは、性能損失を最小限に抑えたモデルパラメータの大幅な削減につながる可能性がある。 例えば、100次元正弦波時間エンコーダと比較して、2次元線形時間エンコーダを持つTGATはパラメータの43%を節約し、5つのデータセットでより高い平均精度を達成する。 これらの結果は、様々な動的グラフ学習アーキテクチャの設計選択に肯定的な影響を与えるのに容易に利用できる。 実験コードは、https://github.com/hsinghuan/dg-linear-time.git.comで公開されている。

関連論文リスト

• Multivariate Time-Series Anomaly Detection based on Enhancing Graph Attention Networks with Topological Analysis [31.43159668073136]
  時系列における教師なし異常検出は、手動による介入の必要性を大幅に低減するため、産業応用において不可欠である。 従来の手法では、グラフニューラルネットワーク(GNN)やトランスフォーマーを使用して空間を解析し、RNNは時間的依存をモデル化していた。 本稿では,TopoGDNと呼ばれる多変量時系列異常検出のための拡張グラフ注意ネットワーク(GAT)上に構築された新しい時間モデルを提案する。
  論文  参考訳（メタデータ） (2024-08-23T14:06:30Z)
• Detecting Anomalies in Dynamic Graphs via Memory enhanced Normality [39.476378833827184]
  動的グラフにおける異常検出は、グラフ構造と属性の時間的進化によって大きな課題となる。 時空間記憶強調グラフオートエンコーダ(STRIPE)について紹介する。 STRIPEは、AUCスコアが5.8%改善し、トレーニング時間が4.62倍速く、既存の手法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2024-03-14T02:26:10Z)
• Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
  モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。 クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。 KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
  論文  参考訳（メタデータ） (2023-10-04T07:14:43Z)
• Disentangling Spatial and Temporal Learning for Efficient Image-to-Video Transfer Learning [59.26623999209235]
  ビデオの空間的側面と時間的側面の学習を両立させるDiSTを提案する。 DiSTの非絡み合い学習は、大量の事前学習パラメータのバックプロパゲーションを避けるため、非常に効率的である。 5つのベンチマークの大規模な実験は、DiSTが既存の最先端メソッドよりも優れたパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:58:33Z)
• DyG2Vec: Efficient Representation Learning for Dynamic Graphs [26.792732615703372]
  時間グラフニューラルネットワークは、時間パターンを自動的に抽出することで、帰納的表現の学習において有望な結果を示している。 時間的エッジエンコーディングとウィンドウベースのサブグラフサンプリングを利用してタスクに依存しない埋め込みを生成する。
  論文  参考訳（メタデータ） (2022-10-30T18:13:04Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Online Graph Topology Learning from Matrix-valued Time Series [0.0]
  焦点は、センサのネットワーク上でデータを収集する行列値時系列の統計解析である。 目標は、これらのセンサー間の依存関係構造を特定し、それをグラフで表現することだ。 オンラインアルゴリズムはこれらの拡張データモデルに適応しており、ストリーミングサンプルからグラフとトレンドを同時に学習することができる。
  論文  参考訳（メタデータ） (2021-07-16T17:21:14Z)
• Adaptive Machine Learning for Time-Varying Systems: Low Dimensional Latent Space Tuning [91.3755431537592]
  本稿では,時間変化システムを対象とした適応機械学習手法を提案する。 我々は,エンコーダデコーダCNNのエンコーダ部出力において,非常に高次元(N>100k)の入力を低次元(N2)潜在空間にマッピングする。 そこで本手法では,割り込みを伴わないフィードバックに基づいて,内部の相関関係を学習し,その進化をリアルタイムで追跡する。
  論文  参考訳（メタデータ） (2021-07-13T16:05:28Z)
• Deep Cellular Recurrent Network for Efficient Analysis of Time-Series Data with Spatial Information [52.635997570873194]
  本研究では,空間情報を用いた複雑な多次元時系列データを処理するための新しいディープセルリカレントニューラルネットワーク(DCRNN)アーキテクチャを提案する。 提案するアーキテクチャは,文献に比較して,学習可能なパラメータをかなり少なくしつつ,最先端の性能を実現している。
  論文  参考訳（メタデータ） (2021-01-12T20:08:18Z)
• Spatio-Temporal Graph Scattering Transform [54.52797775999124]
  グラフニューラルネットワークは、十分な高品質のトレーニングデータがないために、現実のシナリオでは実用的ではないかもしれない。 我々は時間的データを解析するための数学的に設計された新しいフレームワークを考案した。
  論文  参考訳（メタデータ） (2020-12-06T19:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。