論文の概要: Towards Ideal Temporal Graph Neural Networks: Evaluations and Conclusions after 10,000 GPU Hours

• arxiv url: http://arxiv.org/abs/2412.20256v1
• Date: Sat, 28 Dec 2024 20:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:16.380532
• Title: Towards Ideal Temporal Graph Neural Networks: Evaluations and Conclusions after 10,000 GPU Hours
• Title（参考訳）: 理想的な時間グラフニューラルネットワークを目指して:10,000GPU時間後の評価と結論
• Authors: Yuxin Yang, Hongkuan Zhou, Rajgopal Kannan, Viktor Prasanna,
• Abstract要約: TGNN(Temporal Graph Neural Networks)は、さまざまなドメインにわたる動的インタラクションをモデリングするための強力なツールとして登場した。 我々は、TGNNモデリングに関する既存の多くの研究が設計空間を不十分に探索し、最適でない設計へと繋がると主張している。 本稿では,よく知られたTGNNモジュール間の設計空間探索を行うための実用的な比較評価フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.536379628671518
• License:
• Abstract: Temporal Graph Neural Networks (TGNNs) have emerged as powerful tools for modeling dynamic interactions across various domains. The design space of TGNNs is notably complex, given the unique challenges in runtime efficiency and scalability raised by the evolving nature of temporal graphs. We contend that many of the existing works on TGNN modeling inadequately explore the design space, leading to suboptimal designs. Viewing TGNN models through a performance-focused lens often obstructs a deeper understanding of the advantages and disadvantages of each technique. Specifically, benchmarking efforts inherently evaluate models in their original designs and implementations, resulting in unclear accuracy comparisons and misleading runtime. To address these shortcomings, we propose a practical comparative evaluation framework that performs a design space search across well-known TGNN modules based on a unified, optimized code implementation. Using our framework, we make the first efforts towards addressing three critical questions in TGNN design, spending over 10,000 GPU hours: (1) investigating the efficiency of TGNN module designs, (2) analyzing how the effectiveness of these modules correlates with dataset patterns, and (3) exploring the interplay between multiple modules. Key outcomes of this directed investigative approach include demonstrating that the most recent neighbor sampling and attention aggregator outperform uniform neighbor sampling and MLP-Mixer aggregator; Assessing static node memory as an effective node memory alternative, and showing that the choice between static or dynamic node memory should be based on the repetition patterns in the dataset. Our in-depth analysis of the interplay between TGNN modules and dataset patterns should provide a deeper insight into TGNN performance along with potential research directions for designing more general and effective TGNNs.
• Abstract（参考訳）: TGNN(Temporal Graph Neural Networks)は、さまざまなドメインにわたる動的インタラクションをモデリングするための強力なツールとして登場した。 TGNNの設計空間は、時間グラフの進化的な性質によって引き起こされる実行時の効率性とスケーラビリティの独特な課題を考えると、特に複雑である。 我々は、TGNNモデリングにおける既存の多くの研究が設計空間を不十分に探索し、最適でない設計へと繋がると主張している。 パフォーマンス中心のレンズを通してTGNNモデルを見ることは、それぞれのテクニックの利点とデメリットの深い理解を妨げることが多い。 具体的には、ベンチマークの取り組みは、元々の設計と実装のモデルを本質的に評価し、その結果、正確な比較が不明確で、実行時に誤解を招く結果となった。 これらの欠点に対処するため,よく知られたTGNNモジュール間の設計空間探索を,統一的かつ最適化されたコード実装に基づいて実施する,実用的な比較評価フレームワークを提案する。 我々は,TGNN設計における3つの重要な問題に取り組み,1万時間以上のGPU時間を費やした。(1)TGNNモジュール設計の効率性の調査,(2)これらのモジュールの有効性とデータセットパターンとの関連性の分析,(3)複数のモジュール間の相互作用の探索。 この目的のアプローチの主な成果は、最新の隣人サンプリングとアグリゲータが、均一な隣人サンプリングとMLP-Mixerアグリゲータより優れていること、静的ノードメモリを効果的なノードメモリ代替として評価すること、静的ノードメモリと動的ノードメモリの選択がデータセットの繰り返しパターンに基づいて行われること、などである。 TGNNモジュールとデータセットパターンの相互作用を詳細に分析することで、TGNNの性能に関する深い洞察と、より汎用的で効果的なTGNNを設計するための潜在的研究の方向性が得られます。

関連論文リスト

• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  本稿では,リレーショナルデータベースの特徴を捉えた新しいGNNフレームワークであるRelGNNを紹介する。 我々のアプローチの核となるのは、高次三部構造を形成するノードの列である原子経路の導入である。 RelGNNは、最先端の精度を最大25%改善して一貫して達成している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• DTFormer: A Transformer-Based Method for Discrete-Time Dynamic Graph Representation Learning [38.53424185696828]
  離散時間動的グラフ(DTDG)の表現学習は、時間的に変化するエンティティとその進化する接続のダイナミクスをモデル化するために広く応用されている。 本稿では,従来の GNN+RNN フレームワークから Transformer ベースのアーキテクチャへ移行した DTDG のための表現学習手法 DTFormer を提案する。
  論文  参考訳（メタデータ） (2024-07-26T05:46:23Z)
• Unsupervised Optimisation of GNNs for Node Clustering [4.358468367889626]
  我々は,GNN によるコミュニティにノードをクラスタ化できることを示す。 また,教師なしメートル法の性能が地中信頼度を予測できるかどうかについても検討した。
  論文  参考訳（メタデータ） (2024-02-12T17:53:43Z)
• Exploring Time Granularity on Temporal Graphs for Dynamic Link Prediction in Real-world Networks [0.48346848229502226]
  動的グラフニューラルネットワーク(DGNN)は、動的グラフ構造化データを処理するための主要なアプローチである。 本稿では,DGNNを訓練する際の時間粒度が動的グラフに与える影響について,広範な実験を通して検討する。
  論文  参考訳（メタデータ） (2023-11-21T00:34:53Z)
• Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
  不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。 最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。 我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
  論文  参考訳（メタデータ） (2023-10-23T01:25:44Z)
• Graph-based Multi-ODE Neural Networks for Spatio-Temporal Traffic Forecasting [8.832864937330722]
  長距離交通予測は、交通ネットワークで観測される複雑な時間的相関のため、依然として困難な課題である。 本稿では,GRAM-ODE(Graph-based Multi-ODE Neural Networks)と呼ばれるアーキテクチャを提案する。 実世界の6つのデータセットを用いて行った大規模な実験は、最先端のベースラインと比較して、GRAM-ODEの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-05-30T02:10:42Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
  グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。 複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。 本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:03:06Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。