論文の概要: TGTOD: A Global Temporal Graph Transformer for Outlier Detection at Scale

• arxiv url: http://arxiv.org/abs/2412.00984v1
• Date: Sun, 01 Dec 2024 22:24:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:41:40.590091
• Title: TGTOD: A Global Temporal Graph Transformer for Outlier Detection at Scale
• Title（参考訳）: TGTOD:大容量インタプリタ検出用グローバルテンポラルグラフ変換器
• Authors: Kay Liu, Jiahao Ding, MohamadAli Torkamani, Philip S. Yu,
• Abstract要約: 本稿では,アウトリア検出のための新しいエンドツーエンドのテンポラルグラフ変換器TGTODを提案する。 TGTODは、時間グラフ内の構造的および時間的依存関係をモデル化するために、グローバルな注意を払っている。 実験によりTGTODの有効性が示され, 61%のAP改善が得られた。 我々の効率評価の結果,TGTOD は時間グラフの既存の変換器に比べて 44 倍のトレーニング時間を短縮できることがわかった。
• 参考スコア（独自算出の注目度）: 36.238903980962036
• License:
• Abstract: While Transformers have revolutionized machine learning on various data, existing Transformers for temporal graphs face limitations in (1) restricted receptive fields, (2) overhead of subgraph extraction, and (3) suboptimal generalization capability beyond link prediction. In this paper, we rethink temporal graph Transformers and propose TGTOD, a novel end-to-end Temporal Graph Transformer for Outlier Detection. TGTOD employs global attention to model both structural and temporal dependencies within temporal graphs. To tackle scalability, our approach divides large temporal graphs into spatiotemporal patches, which are then processed by a hierarchical Transformer architecture comprising Patch Transformer, Cluster Transformer, and Temporal Transformer. We evaluate TGTOD on three public datasets under two settings, comparing with a wide range of baselines. Our experimental results demonstrate the effectiveness of TGTOD, achieving AP improvement of 61% on Elliptic. Furthermore, our efficiency evaluation shows that TGTOD reduces training time by 44x compared to existing Transformers for temporal graphs. To foster reproducibility, we make our implementation publicly available at https://github.com/kayzliu/tgtod.
• Abstract（参考訳）: トランスフォーマーは様々なデータで機械学習に革命をもたらしたが、既存のテンポラルグラフ用トランスフォーマーは(1)制限された受容領域、(2)サブグラフ抽出のオーバーヘッド、(3)リンク予測以上の準最適一般化能力に制限に直面している。 本稿では、時間グラフ変換器を再考し、外乱検出のための新しいエンドツーエンドの時間グラフ変換器TGTODを提案する。 TGTODは、時間グラフ内の構造的および時間的依存関係をモデル化するために、グローバルな注意を払っている。 拡張性に対処するため,提案手法は時空間グラフを時空間パッチに分割し,Patch Transformer,Cluster Transformer,Temporal Transformerからなる階層変換器アーキテクチャで処理する。 我々は3つの公開データセットに対して2つの設定でTGTODを評価し、幅広いベースラインと比較した。 実験によりTGTODの有効性が示され, 61%のAP改善が得られた。 さらに,TGTODは時間グラフの既存のトランスフォーマーと比較して,トレーニング時間を44倍短縮することを示した。 再現性を高めるため、実装はhttps://github.com/kayzliu/tgtod.comで公開しています。

関連論文リスト

• SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
  グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。 本研究では,一層伝播を一層伝播に還元できることを示す。 これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
  論文  参考訳（メタデータ） (2024-09-13T17:37:34Z)
• iTransformer: Inverted Transformers Are Effective for Time Series Forecasting [62.40166958002558]
  iTransformerを提案する。これは、逆次元に注意とフィードフォワードのネットワークを単純に適用する。 iTransformerモデルは、挑戦的な現実世界のデータセットの最先端を実現する。
  論文  参考訳（メタデータ） (2023-10-10T13:44:09Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• PatchGT: Transformer over Non-trainable Clusters for Learning Graph Representations [18.203910156450085]
  我々は、新しいTransformerベースのグラフニューラルネットワーク、Patch Graph Transformer(PatchGT)を提案する。 グラフ表現を学習する従来のトランスフォーマーベースモデルとは異なり、PatchGTはノードから直接ではなく、トレーニング不可能なグラフパッチから学習する。 PatchGTは1-WL型GNNよりも高い性能を達成し,ベンチマークデータセット上でPatchGTが競合性能を達成することを示す実証的研究を行った。
  論文  参考訳（メタデータ） (2022-11-26T01:17:23Z)
• Hierarchical Graph Transformer with Adaptive Node Sampling [19.45896788055167]
  現在のグラフ変換器の主な欠陥を同定する。 ほとんどのサンプリング戦略は、近隣にのみ焦点をあて、グラフ内の長距離依存を無視している。 本稿では,グラフ粗化を用いた階層型アテンション方式を提案する。
  論文  参考訳（メタデータ） (2022-10-08T05:53:25Z)
• Pix4Point: Image Pretrained Standard Transformers for 3D Point Cloud Understanding [62.502694656615496]
  本稿では、プログレッシブ・ポイント・パッチ・エンベディングと、PViTと呼ばれる新しいポイント・クラウド・トランスフォーマーモデルを提案する。 PViTはTransformerと同じバックボーンを共有しているが、データに対して空腹が少ないことが示されており、Transformerは最先端技術に匹敵するパフォーマンスを実現することができる。 我々は、イメージ領域で事前訓練されたトランスフォーマーを活用して、下流のクラウド理解を強化する、シンプルで効果的なパイプライン「Pix4Point」を定式化します。
  論文  参考訳（メタデータ） (2022-08-25T17:59:29Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
  本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。 具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。 エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
  論文  参考訳（メタデータ） (2021-10-25T16:43:32Z)
• Rethinking Graph Transformers with Spectral Attention [13.068288784805901]
  我々は、学習された位置符号化(LPE)を用いて、与えられたグラフ内の各ノードの位置を学習するtextitSpectral Attention Network$(SAN)を提示する。 ラプラシアンの完全なスペクトルを利用することで、我々のモデルは理論上グラフの区別に強力であり、類似のサブ構造を共鳴からよりよく検出することができる。 我々のモデルは最先端のGNNよりも同等かそれ以上の性能を発揮し、あらゆる注目ベースモデルよりも広いマージンで性能を向上する。
  論文  参考訳（メタデータ） (2021-06-07T18:11:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。