論文の概要: CVTGAD: Simplified Transformer with Cross-View Attention for Unsupervised Graph-level Anomaly Detection
- arxiv url: http://arxiv.org/abs/2405.02359v1
- Date: Fri, 3 May 2024 03:31:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-07 20:19:44.925413
- Title: CVTGAD: Simplified Transformer with Cross-View Attention for Unsupervised Graph-level Anomaly Detection
- Title（参考訳）: CVTGAD:教師なしグラフレベルの異常検出のためのクロスビューアテンション付き簡易変換器
- Authors: Jindong Li, Qianli Xing, Qi Wang, Yi Chang,
- Abstract要約: 教師なしグラフレベルの異常検出のためのクロスビューアテンション付きトランスフォーマーを提案する。
受信フィールドを拡大するために,グラフ内およびグラフ間の両方の観点からノード/グラフ間の関係を利用する,簡易なトランスフォーマベースモジュールを構築した。
我々は、異なるビュー間のビュー共起を直接利用し、ノードレベルとグラフレベルでのビュー間ギャップを埋めるために、クロスビューアテンション機構を設計する。
- 参考スコア（独自算出の注目度）: 11.282629706121039
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised graph-level anomaly detection (UGAD) has received remarkable performance in various critical disciplines, such as chemistry analysis and bioinformatics. Existing UGAD paradigms often adopt data augmentation techniques to construct multiple views, and then employ different strategies to obtain representations from different views for jointly conducting UGAD. However, most previous works only considered the relationship between nodes/graphs from a limited receptive field, resulting in some key structure patterns and feature information being neglected. In addition, most existing methods consider different views separately in a parallel manner, which is not able to explore the inter-relationship across different views directly. Thus, a method with a larger receptive field that can explore the inter-relationship across different views directly is in need. In this paper, we propose a novel Simplified Transformer with Cross-View Attention for Unsupervised Graph-level Anomaly Detection, namely, CVTGAD. To increase the receptive field, we construct a simplified transformer-based module, exploiting the relationship between nodes/graphs from both intra-graph and inter-graph perspectives. Furthermore, we design a cross-view attention mechanism to directly exploit the view co-occurrence between different views, bridging the inter-view gap at node level and graph level. To the best of our knowledge, this is the first work to apply transformer and cross attention to UGAD, which realizes graph neural network and transformer working collaboratively. Extensive experiments on 15 real-world datasets of 3 fields demonstrate the superiority of CVTGAD on the UGAD task. The code is available at \url{https://github.com/jindongli-Ai/CVTGAD}.
- Abstract（参考訳）: 教師なしグラフレベルの異常検出(UGAD)は、化学分析やバイオインフォマティクスなど、様々な重要な分野において顕著な性能を発揮している。
既存のUGADパラダイムでは、複数のビューを構築するためにデータ拡張技術を採用し、異なるビューからの表現を得るために異なる戦略を採用することが多い。
しかし、これまでのほとんどの研究は、限定された受容領域からのノード/グラフの関係のみを考慮し、いくつかの重要な構造パターンと特徴情報が無視される結果となった。
さらに、既存のほとんどのメソッドは、異なるビューを並列的に別々に検討しており、異なるビューをまたいだ相互関係を直接探索することはできない。
したがって、異なる視点をまたいで相互関係を探索できる、より広い受容場を持つ手法が求められている。
本稿では,教師なしグラフレベルの異常検出,すなわちCVTGADのためのクロスビューアテンション付き簡易変換器を提案する。
受容場を増大させるために,グラフ内およびグラフ間の両方の観点からノード/グラフ間の関係を利用して,簡易なトランスフォーマベースモジュールを構築する。
さらに、異なるビュー間のビュー共起を直接利用し、ノードレベルとグラフレベルでのビュー間ギャップをブリッジする、クロスビューアテンション機構を設計する。
我々の知る限りでは、これは、グラフニューラルネットワークとトランスフォーマーの協調動作を実現するUGADにトランスフォーマーを適用し、横断的な注意を向ける最初の試みである。
3フィールドの15の実世界のデータセットに対する大規模な実験は、UGADタスクにおけるCVTGADの優位性を実証している。
コードは \url{https://github.com/jindongli-Ai/CVTGAD} で公開されている。
関連論文リスト
- A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。
我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。
GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文 参考訳（メタデータ） (2024-06-19T22:30:08Z) - Graph External Attention Enhanced Transformer [20.44782028691701]
本稿では,複数の外部ノード/エッジキー値単位を利用してグラフ間相関を暗黙的にキャプチャする新しい注意機構であるグラフ外部注意機構(GEA)を提案する。
そこで我々は,GeAET (Graph external Attention Enhanced Transformer) と呼ばれる効果的なアーキテクチャを設計した。
ベンチマークデータセットの実験では、GAETが最先端の実証的なパフォーマンスを達成することが示されている。
論文 参考訳（メタデータ） (2024-05-31T17:50:27Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳（メタデータ） (2024-02-22T11:40:49Z) - Towards a Unified Transformer-based Framework for Scene Graph Generation
and Human-object Interaction Detection [116.21529970404653]
本稿では,Transformerアーキテクチャに基づく一段階統一モデルであるSG2HOI+を紹介する。
本手法では,SGGとHOI検出のタスクをシームレスに統一する2つの対話型階層変換器を用いる。
提案手法は最先端のHOI法と比較して競争性能が向上する。
論文 参考訳（メタデータ） (2023-11-03T07:25:57Z) - BOURNE: Bootstrapped Self-supervised Learning Framework for Unified
Graph Anomaly Detection [50.26074811655596]
自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。
ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。
BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
論文 参考訳（メタデータ） (2023-07-28T00:44:57Z) - You Only Transfer What You Share: Intersection-Induced Graph Transfer
Learning for Link Prediction [79.15394378571132]
従来見過ごされていた現象を調査し、多くの場合、元のグラフに対して密に連結された補グラフを見つけることができる。
より密度の高いグラフは、選択的で有意義な知識を伝達するための自然なブリッジを提供する元のグラフとノードを共有することができる。
この設定をグラフインターセクション誘導トランスファーラーニング(GITL)とみなし,eコマースや学術共同オーサシップ予測の実践的応用に動機づけられた。
論文 参考訳（メタデータ） (2023-02-27T22:56:06Z) - Graph Reasoning Transformer for Image Parsing [67.76633142645284]
本稿では,画像解析のためのグラフ推論変換器(GReaT)を提案する。
従来の変圧器と比較して、GReaTは高い相互作用効率とより目的のある相互作用パターンを有する。
その結果、GReaTは、最先端のトランスフォーマーベースラインにわずかに計算オーバーヘッドを伴って、一貫した性能向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-09-20T08:21:37Z) - Panoptic Scene Graph Generation [41.534209967051645]
パン光学シーングラフ生成(PSG)は、より包括的なシーングラフ表現を生成するためにモデルを必要とする新しい問題タスクである。
高品質のPSGデータセットには、COCOとVisual Genomeの49kのよく注釈付けされた重複画像が含まれている。
論文 参考訳（メタデータ） (2022-07-22T17:59:53Z) - Relation Transformer Network [25.141472361426818]
本稿では,シーングラフ生成と関係予測のためのトランスフォーメーションを提案する。
我々はトランスのエンコーダ・デコーダアーキテクチャを利用して,ノードとエッジのリッチな機能埋め込みを行う。
我々の関係予測モジュールは学習ノードとエッジ埋め込みから有向関係を分類する。
論文 参考訳（メタデータ） (2020-04-13T20:47:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。