論文の概要: Self-Attention in Colors: Another Take on Encoding Graph Structure in
Transformers
- arxiv url: http://arxiv.org/abs/2304.10933v1
- Date: Fri, 21 Apr 2023 13:08:53 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-24 14:54:09.172400
- Title: Self-Attention in Colors: Another Take on Encoding Graph Structure in
Transformers
- Title(参考訳): 色における自己注意:変圧器におけるグラフ構造の符号化
- Authors: Romain Menegaux and Emmanuel Jehanno and Margot Selosse and Julien
Mairal
- Abstract要約: CSA(Chromatic Self-Attention)と呼ばれる新しい自己認識機構を導入する。
完全アテンショナルグラフ変換器CGT(Chromatic Graph Transformer)におけるCSAの紹介
- 参考スコア(独自算出の注目度): 25.683127388426175
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We introduce a novel self-attention mechanism, which we call CSA (Chromatic
Self-Attention), which extends the notion of attention scores to attention
_filters_, independently modulating the feature channels. We showcase CSA in a
fully-attentional graph Transformer CGT (Chromatic Graph Transformer) which
integrates both graph structural information and edge features, completely
bypassing the need for local message-passing components. Our method flexibly
encodes graph structure through node-node interactions, by enriching the
original edge features with a relative positional encoding scheme. We propose a
new scheme based on random walks that encodes both structural and positional
information, and show how to incorporate higher-order topological information,
such as rings in molecular graphs. Our approach achieves state-of-the-art
results on the ZINC benchmark dataset, while providing a flexible framework for
encoding graph structure and incorporating higher-order topology.
- Abstract(参考訳): 我々はCSA(Chromatic Self-Attention)と呼ばれる新しい自己注意機構を導入し、注意スコアの概念を注意_filters_に拡張し、特徴チャネルを独立に調節する。
我々はCSAを,グラフ構造情報とエッジ機能を統合した全アテンショナルグラフ変換器CGT(Chromatic Graph Transformer)で紹介し,局所的なメッセージパッシングコンポーネントの必要性を完全に回避した。
本手法では,ノード間相互作用によるグラフ構造を柔軟にエンコードし,相対的な位置符号化方式を用いて元のエッジ特性を拡張できる。
本研究では,構造情報と位置情報の両方をエンコードするランダムウォークに基づく新しいスキームを提案し,分子グラフにリングなどの高次位相情報を組み込む方法を示す。
本手法は,グラフ構造をエンコードし,高次トポロジを組み込む柔軟なフレームワークを提供しながら,亜鉛ベンチマークデータセットで最先端の結果を得る。
関連論文リスト
- Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークデータセットにおいて,SOTAグラフ変換器に匹敵する性能を実現することを示す。
論文 参考訳(メタデータ) (2024-01-31T12:33:31Z) - Graph Transformer GANs with Graph Masked Modeling for Architectural
Layout Generation [153.92387500677023]
本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。
提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。
また,グラフ表現学習のための自己指導型事前学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-15T14:36:38Z) - Transforming Graphs for Enhanced Attribute Clustering: An Innovative
Graph Transformer-Based Method [8.989218350080844]
本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。
Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。
GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
論文 参考訳(メタデータ) (2023-06-20T06:04:03Z) - Structure-Aware Transformer for Graph Representation Learning [7.4124458942877105]
本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。
本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。
我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
論文 参考訳(メタデータ) (2022-02-07T09:53:39Z) - Edge-augmented Graph Transformers: Global Self-attention is Enough for
Graphs [24.796242917673755]
本稿では,変圧器の残差エッジチャネルに対する簡易かつ強力な拡張を提案する。
結果として得られるフレームワークは、Edge-augmented Graph Transformer (EGT)と呼ばれ、ノード情報だけでなく、構造情報を直接受け入れ、処理し、出力することができる。
我々のフレームワークはグローバルノードの特徴集約に依存しており、グラフ畳み込みネットワーク(GCN)よりも優れたパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2021-08-07T02:18:11Z) - Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph
Wavelets [81.63035727821145]
スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。
本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
論文 参考訳(メタデータ) (2021-08-03T17:57:53Z) - GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。
我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
論文 参考訳(メタデータ) (2021-06-10T11:36:22Z) - Graph Information Bottleneck [77.21967740646784]
グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。
GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。
提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:13:00Z) - Multi-Level Graph Convolutional Network with Automatic Graph Learning
for Hyperspectral Image Classification [63.56018768401328]
HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。
空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。
MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
論文 参考訳(メタデータ) (2020-09-19T09:26:20Z) - Jointly Cross- and Self-Modal Graph Attention Network for Query-Based
Moment Localization [77.21951145754065]
本稿では,共同グラフを渡る反復的メッセージのプロセスとして,このタスクをリキャストするクロスモーダルグラフ注意ネットワーク(CSMGAN)を提案する。
CSMGANは2つのモード間の高次相互作用を効果的に捉えることができ、より正確な局所化を可能にします。
論文 参考訳(メタデータ) (2020-08-04T08:25:24Z) - Adaptive Graph Auto-Encoder for General Data Clustering [90.8576971748142]
グラフベースのクラスタリングは、クラスタリング領域において重要な役割を果たす。
グラフ畳み込みニューラルネットワークに関する最近の研究は、グラフ型データにおいて驚くべき成功を収めている。
本稿では,グラフの生成的視点に応じて適応的にグラフを構成する汎用データクラスタリングのためのグラフ自動エンコーダを提案する。
論文 参考訳(メタデータ) (2020-02-20T10:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。