論文の概要: Todyformer: Towards Holistic Dynamic Graph Transformers with
Structure-Aware Tokenization
- arxiv url: http://arxiv.org/abs/2402.05944v1
- Date: Fri, 2 Feb 2024 23:05:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-18 14:35:15.327066
- Title: Todyformer: Towards Holistic Dynamic Graph Transformers with
Structure-Aware Tokenization
- Title(参考訳): todyformer: structure-aware tokenization を用いた包括的動的グラフトランスフォーマ
- Authors: Mahdi Biparva, Raika Karimi, Faezeh Faez, Yingxue Zhang
- Abstract要約: Todyformerは、動的グラフに適したトランスフォーマーベースのニューラルネットワークである。
メッセージパッシングニューラルネットワーク(MPNN)のローカルエンコーディング能力とトランスフォーマーのグローバルエンコーディング能力を統合する。
Todyformerは、ダウンストリームタスクの最先端メソッドよりも一貫して優れていることを示す。
- 参考スコア(独自算出の注目度): 6.799413002613627
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Temporal Graph Neural Networks have garnered substantial attention for their
capacity to model evolving structural and temporal patterns while exhibiting
impressive performance. However, it is known that these architectures are
encumbered by issues that constrain their performance, such as over-squashing
and over-smoothing. Meanwhile, Transformers have demonstrated exceptional
computational capacity to effectively address challenges related to long-range
dependencies. Consequently, we introduce Todyformer-a novel Transformer-based
neural network tailored for dynamic graphs. It unifies the local encoding
capacity of Message-Passing Neural Networks (MPNNs) with the global encoding of
Transformers through i) a novel patchifying paradigm for dynamic graphs to
improve over-squashing, ii) a structure-aware parametric tokenization strategy
leveraging MPNNs, iii) a Transformer with temporal positional-encoding to
capture long-range dependencies, and iv) an encoding architecture that
alternates between local and global contextualization, mitigating
over-smoothing in MPNNs. Experimental evaluations on public benchmark datasets
demonstrate that Todyformer consistently outperforms the state-of-the-art
methods for downstream tasks. Furthermore, we illustrate the underlying aspects
of the proposed model in effectively capturing extensive temporal dependencies
in dynamic graphs.
- Abstract(参考訳): 時間グラフニューラルネットワークは、構造的および時間的パターンの進化をモデル化し、優れたパフォーマンスを示す能力にかなりの注意を払っている。
しかし,これらのアーキテクチャは,過密や過密といったパフォーマンスを制約する問題に悩まされていることが知られている。
一方、トランスフォーマーは長距離依存に関する問題に対して効果的に対処できる特別な計算能力を示している。
その結果,動的グラフに適した新しいトランスフォーマーベースニューラルネットワークであるTodyformerを導入した。
メッセージパッシングニューラルネットワーク(MPNN)の局所符号化能力とトランスフォーマーのグローバル符号化能力を一体化する。
一 オーバースワッシングを改善するための動的グラフに対する新しいパッチ適用パラダイム。
二 MPNNを利用した構造対応パラメトリックトークン化戦略
三 経時的位置エンコーディングにより長距離依存関係を捕捉するトランスフォーマー
iv)mpnnのオーバースムーシングを緩和し、ローカルとグローバルのコンテキスト化を交互に行うエンコーディングアーキテクチャ。
公開ベンチマークデータセットに対する実験的評価は、Todyformerがダウンストリームタスクの最先端メソッドを一貫して上回っていることを示している。
さらに,動的グラフの時間的依存性を効果的に捉えることにより,提案モデルの基盤となる側面を述べる。
関連論文リスト
- Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークデータセットにおいて,SOTAグラフ変換器に匹敵する性能を実現することを示す。
論文 参考訳(メタデータ) (2024-01-31T12:33:31Z) - Distance Weighted Trans Network for Image Completion [52.318730994423106]
本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。
CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。
DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
論文 参考訳(メタデータ) (2023-10-11T12:46:11Z) - Adaptive Growth: Real-time CNN Layer Expansion [0.0]
本研究では,データ入力に基づいて,畳み込みニューラルネットワーク(CNN)の畳み込み層を動的に進化させるアルゴリズムを提案する。
厳密なアーキテクチャの代わりに、我々のアプローチはカーネルを畳み込み層に反復的に導入し、様々なデータに対してリアルタイムに応答する。
興味深いことに、我々の教師なしの手法は、さまざまなデータセットにまたがって教師なしの手法を上回った。
論文 参考訳(メタデータ) (2023-09-06T14:43:58Z) - Recurrent Transformer for Dynamic Graph Representation Learning with
Edge Temporal States [19.898902023743467]
本稿では,各スナップショットのエッジに様々なタイプと重みを割り当て,特定の時間状態を明確に記述するRDGT(Recurrent difference graph transformer)フレームワークを提案する。
4つの実世界のデータセットに対する実験結果は、離散動的グラフ表現学習におけるRDGTの優位性を示している。
論文 参考訳(メタデータ) (2023-04-20T04:12:50Z) - Towards Long-Term Time-Series Forecasting: Feature, Pattern, and
Distribution [57.71199089609161]
長期的時系列予測(LTTF)は、風力発電計画など、多くのアプリケーションで需要が高まっている。
トランスフォーマーモデルは、高い計算自己認識機構のため、高い予測能力を提供するために採用されている。
LTTFの既存の手法を3つの面で区別する,Conformer という,効率的なTransformer ベースモデルを提案する。
論文 参考訳(メタデータ) (2023-01-05T13:59:29Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Dynamic Spatial Sparsification for Efficient Vision Transformers and
Convolutional Neural Networks [88.77951448313486]
視覚データにおける空間空間空間性を利用したモデルアクセラレーションのための新しい手法を提案する。
本稿では,冗長トークンを具現化する動的トークンスペーシフィケーションフレームワークを提案する。
提案手法は,CNNや階層型視覚変換器などの階層モデルに拡張する。
論文 参考訳(メタデータ) (2022-07-04T17:00:51Z) - CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。
提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。
実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
論文 参考訳(メタデータ) (2021-12-31T04:37:11Z) - Spectral Transform Forms Scalable Transformer [1.19071399645846]
この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。
開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
論文 参考訳(メタデータ) (2021-11-15T08:46:01Z) - Anomaly Detection in Dynamic Graphs via Transformer [30.926884264054042]
DYnamic graph(TADDY)のためのトランスフォーマーを用いた新しい異常検出フレームワークを提案する。
本フレームワークは,進化するグラフストリームにおいて,各ノードの構造的役割と時間的役割をよりよく表現するための包括的ノード符号化戦略を構築する。
提案するTADDYフレームワークは,4つの実世界のデータセットに対して,最先端の手法よりも大きなマージンで優れている。
論文 参考訳(メタデータ) (2021-06-18T02:27:19Z) - Transformers Solve the Limited Receptive Field for Monocular Depth
Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。
連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文 参考訳(メタデータ) (2021-03-22T18:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。