論文の概要: Self-Attention in Colors: Another Take on Encoding Graph Structure in Transformers

• arxiv url: http://arxiv.org/abs/2304.10933v1
• Date: Fri, 21 Apr 2023 13:08:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 14:54:09.172400
• Title: Self-Attention in Colors: Another Take on Encoding Graph Structure in Transformers
• Title（参考訳）: 色における自己注意:変圧器におけるグラフ構造の符号化
• Authors: Romain Menegaux and Emmanuel Jehanno and Margot Selosse and Julien Mairal
• Abstract要約: CSA(Chromatic Self-Attention)と呼ばれる新しい自己認識機構を導入する。 完全アテンショナルグラフ変換器CGT(Chromatic Graph Transformer)におけるCSAの紹介
• 参考スコア（独自算出の注目度）: 25.683127388426175
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce a novel self-attention mechanism, which we call CSA (Chromatic Self-Attention), which extends the notion of attention scores to attention _filters_, independently modulating the feature channels. We showcase CSA in a fully-attentional graph Transformer CGT (Chromatic Graph Transformer) which integrates both graph structural information and edge features, completely bypassing the need for local message-passing components. Our method flexibly encodes graph structure through node-node interactions, by enriching the original edge features with a relative positional encoding scheme. We propose a new scheme based on random walks that encodes both structural and positional information, and show how to incorporate higher-order topological information, such as rings in molecular graphs. Our approach achieves state-of-the-art results on the ZINC benchmark dataset, while providing a flexible framework for encoding graph structure and incorporating higher-order topology.
• Abstract（参考訳）: 我々はCSA(Chromatic Self-Attention)と呼ばれる新しい自己注意機構を導入し、注意スコアの概念を注意_filters_に拡張し、特徴チャネルを独立に調節する。 我々はCSAを,グラフ構造情報とエッジ機能を統合した全アテンショナルグラフ変換器CGT(Chromatic Graph Transformer)で紹介し,局所的なメッセージパッシングコンポーネントの必要性を完全に回避した。 本手法では,ノード間相互作用によるグラフ構造を柔軟にエンコードし,相対的な位置符号化方式を用いて元のエッジ特性を拡張できる。 本研究では,構造情報と位置情報の両方をエンコードするランダムウォークに基づく新しいスキームを提案し,分子グラフにリングなどの高次位相情報を組み込む方法を示す。 本手法は,グラフ構造をエンコードし,高次トポロジを組み込む柔軟なフレームワークを提供しながら,亜鉛ベンチマークデータセットで最先端の結果を得る。

関連論文リスト

• Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
  本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
  論文  参考訳（メタデータ） (2024-09-09T12:56:02Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• Graph External Attention Enhanced Transformer [20.44782028691701]
  本稿では,複数の外部ノード/エッジキー値単位を利用してグラフ間相関を暗黙的にキャプチャする新しい注意機構であるグラフ外部注意機構(GEA)を提案する。 そこで我々は,GeAET (Graph external Attention Enhanced Transformer) と呼ばれる効果的なアーキテクチャを設計した。 ベンチマークデータセットの実験では、GAETが最先端の実証的なパフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2024-05-31T17:50:27Z)
• Hi-GMAE: Hierarchical Graph Masked Autoencoders [90.30572554544385]
  階層型グラフマスク付きオートエンコーダ(Hi-GMAE) Hi-GMAEは、グラフ内の階層構造を扱うために設計された、新しいマルチスケールGMAEフレームワークである。 15のグラフデータセットに対する実験は、Hi-GMAEが17の最先端の自己管理競合より優れていることを一貫して示している。
  論文  参考訳（メタデータ） (2024-05-17T09:08:37Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Transforming Graphs for Enhanced Attribute Clustering: An Innovative Graph Transformer-Based Method [8.989218350080844]
  本研究では、グラフクラスタリングのためのグラフトランスフォーマーオートエンコーダ(GTAGC)と呼ばれる革新的な手法を提案する。 Graph Auto-EncoderをGraph Transformerでマージすることで、GTAGCはノード間のグローバルな依存関係をキャプチャできる。 GTAGCのアーキテクチャはグラフの埋め込み、オートエンコーダ構造内のグラフ変換器の統合、クラスタリングコンポーネントを含んでいる。
  論文  参考訳（メタデータ） (2023-06-20T06:04:03Z)
• Structure-Aware Transformer for Graph Representation Learning [7.4124458942877105]
  本研究では,トランスフォーマーによって生成されるノード表現と位置符号化が必ずしも類似点を捉えるとは限らないことを示す。 本稿では,新しい自己認識機構上に構築された,単純で柔軟なグラフ変換器のクラスであるStructure-Aware Transformerを提案する。 我々のフレームワークは,既存のGNNを利用してサブグラフ表現を抽出し,ベースとなるGNNモデルに対する性能を体系的に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-07T09:53:39Z)
• Edge-augmented Graph Transformers: Global Self-attention is Enough for Graphs [24.796242917673755]
  本稿では,変圧器の残差エッジチャネルに対する簡易かつ強力な拡張を提案する。 結果として得られるフレームワークは、Edge-augmented Graph Transformer (EGT)と呼ばれ、ノード情報だけでなく、構造情報を直接受け入れ、処理し、出力することができる。 我々のフレームワークはグローバルノードの特徴集約に依存しており、グラフ畳み込みネットワーク(GCN)よりも優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-08-07T02:18:11Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• GraphiT: Encoding Graph Structure in Transformers [37.33808493548781]
  古典的グラフニューラルネットワーク(GNN)を用いて学習した表現を,ノードの特徴と構造的および位置的情報の集合として見ることにより,より優れた表現を実現できることを示す。 我々のモデルであるGraphiTは,グラフ上の正定値カーネルに基づく自己注意スコアにおける相対的な位置符号化戦略と,短距離パスなどの局所的なサブ構造を列挙して符号化することで,そのような情報を符号化する。
  論文  参考訳（メタデータ） (2021-06-10T11:36:22Z)
• Multi-Level Graph Convolutional Network with Automatic Graph Learning for Hyperspectral Image Classification [63.56018768401328]
  HSI分類のための自動グラフ学習法(MGCN-AGL)を用いたマルチレベルグラフ畳み込みネットワーク(GCN)を提案する。 空間的に隣接する領域における重要度を特徴付けるために注意機構を利用することで、最も関連性の高い情報を適応的に組み込んで意思決定を行うことができる。 MGCN-AGLは局所的に生成した表現表現に基づいて画像領域間の長距離依存性を符号化する。
  論文  参考訳（メタデータ） (2020-09-19T09:26:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。