論文の概要: Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization

• arxiv url: http://arxiv.org/abs/2402.05944v1
• Date: Fri, 2 Feb 2024 23:05:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-18 14:35:15.327066
• Title: Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization
• Title（参考訳）: todyformer: structure-aware tokenization を用いた包括的動的グラフトランスフォーマ
• Authors: Mahdi Biparva, Raika Karimi, Faezeh Faez, Yingxue Zhang
• Abstract要約: Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。 メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。 Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 6.799413002613627
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporal Graph Neural Networks have garnered substantial attention for their capacity to model evolving structural and temporal patterns while exhibiting impressive performance. However, it is known that these architectures are encumbered by issues that constrain their performance, such as over-squashing and over-smoothing. Meanwhile, Transformers have demonstrated exceptional computational capacity to effectively address challenges related to long-range dependencies. Consequently, we introduce Todyformer-a novel Transformer-based neural network tailored for dynamic graphs. It unifies the local encoding capacity of Message-Passing Neural Networks (MPNNs) with the global encoding of Transformers through i) a novel patchifying paradigm for dynamic graphs to improve over-squashing, ii) a structure-aware parametric tokenization strategy leveraging MPNNs, iii) a Transformer with temporal positional-encoding to capture long-range dependencies, and iv) an encoding architecture that alternates between local and global contextualization, mitigating over-smoothing in MPNNs. Experimental evaluations on public benchmark datasets demonstrate that Todyformer consistently outperforms the state-of-the-art methods for downstream tasks. Furthermore, we illustrate the underlying aspects of the proposed model in effectively capturing extensive temporal dependencies in dynamic graphs.
• Abstract（参考訳）: 時間グラフニューラルネットワークは、構造的および時間的パターンの進化をモデル化し、優れたパフォーマンスを示す能力にかなりの注意を払っている。 しかし,これらのアーキテクチャは,過密や過密といったパフォーマンスを制約する問題に悩まされていることが知られている。 一方、トランスフォーマーは長距離依存に関する問題に対して効果的に対処できる特別な計算能力を示している。 その結果,動的グラフに適した新しいトランスフォーマーベースニューラルネットワークであるTodyformerを導入した。 メッセージパッシングニューラルネットワーク(MPNN)の局所符号化能力とトランスフォーマーのグローバル符号化能力を一体化する。 一 オーバースワッシングを改善するための動的グラフに対する新しいパッチ適用パラダイム。 二 MPNNを利用した構造対応パラメトリックトークン化戦略 三 経時的位置エンコーディングにより長距離依存関係を捕捉するトランスフォーマー iv)mpnnのオーバースムーシングを緩和し、ローカルとグローバルのコンテキスト化を交互に行うエンコーディングアーキテクチャ。 公開ベンチマークデータセットに対する実験的評価は、Todyformerがダウンストリームタスクの最先端メソッドを一貫して上回っていることを示している。 さらに,動的グラフの時間的依存性を効果的に捉えることにより,提案モデルの基盤となる側面を述べる。

関連論文リスト

• Supra-Laplacian Encoding for Transformer on Dynamic Graphs [14.293220696079919]
  我々は、時間情報を保持しながらGTアーキテクチャを活用するための新しい時間エンコーディングを導入する。 具体的には、Time Dynamic Graphplasを多層グラフに変換し、関連する超ラプラシア行列のスペクトル特性を利用する。 SLATEはMessage-Passing Graph Neural Networksに基づく最先端の多くの手法より優れている。
  論文  参考訳（メタデータ） (2024-09-26T15:56:40Z)
• Unifying Dimensions: A Linear Adaptive Approach to Lightweight Image Super-Resolution [6.857919231112562]
  ウィンドウベーストランスは超高解像度タスクにおいて優れた性能を示した。 畳み込みニューラルネットワークよりも計算複雑性と推論レイテンシが高い。 線形適応ミキサーネットワーク(LAMNet)という,畳み込みに基づくトランスフォーマーフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-09-26T07:24:09Z)
• Navigating Spatio-Temporal Heterogeneity: A Graph Transformer Approach for Traffic Forecasting [13.309018047313801]
  交通予測はスマートシティの発展において重要な研究分野として浮上している。 最短時間相関のためのネットワークモデリングの最近の進歩は、パフォーマンスのリターンが低下し始めている。 これらの課題に対処するために、時空間グラフ変換器(STGormer)を導入する。 本研究では,その構造に基づく空間符号化手法を2つ設計し,時間位置をバニラ変圧器に統合して時間的トラフィックパターンをキャプチャする。
  論文  参考訳（メタデータ） (2024-08-20T13:18:21Z)
• PRformer: Pyramidal Recurrent Transformer for Multivariate Time Series Forecasting [82.03373838627606]
  Transformerアーキテクチャにおける自己保持機構は、時系列予測において時間順序を符号化するために位置埋め込みを必要とする。 この位置埋め込みへの依存は、トランスフォーマーの時間的シーケンスを効果的に表現する能力を制限している、と我々は主張する。 本稿では,Prepreを標準的なTransformerエンコーダと統合し,様々な実世界のデータセット上での最先端性能を示す。
  論文  参考訳（メタデータ） (2024-08-20T01:56:07Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• Dynamic Graph Representation Learning via Edge Temporal States Modeling and Structure-reinforced Transformer [5.093187534912688]
  本稿では,動的グラフ表現学習のための新しいフレームワークであるRecurrent Structure-Reinforced Graph Transformer (RSGT)を紹介する。 RSGTは、繰り返し学習パラダイムを通じて、グラフトポロジと進化力学の両方をコードする時間ノード表現をキャプチャする。 離散動的グラフ表現学習におけるRSGTの優れた性能を示し、動的リンク予測タスクにおける既存の手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-04-20T04:12:50Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Spectral Transform Forms Scalable Transformer [1.19071399645846]
  この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
  論文  参考訳（メタデータ） (2021-11-15T08:46:01Z)
• Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
  畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。 連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
  論文  参考訳（メタデータ） (2021-03-22T18:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。