論文の概要: Graph Kernel Attention Transformers
- arxiv url: http://arxiv.org/abs/2107.07999v1
- Date: Fri, 16 Jul 2021 16:39:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-19 15:29:08.707030
- Title: Graph Kernel Attention Transformers
- Title(参考訳): グラフカーネル注意変換器
- Authors: Krzysztof Choromanski, Han Lin, Haoxian Chen, Jack Parker-Holder
- Abstract要約: 我々は,これまで独立に研究されてきたいくつかの概念を組み合わせることで,新しいグラフニューラルネットワーク(GNN)のクラスを導入する。
論文の目標は2つある。我々はGKAT(Graph Kernel Attention Transformers)によって提案され、SOTA GNNよりもはるかに表現力が高い。
我々は,ネットワーク分類からバイオインフォマティクスの課題に至るまで,9つの異なるGNNクラスに対して,本手法を徹底的に比較した。
- 参考スコア(独自算出の注目度): 22.83513608679925
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce a new class of graph neural networks (GNNs), by combining
several concepts that were so far studied independently - graph kernels,
attention-based networks with structural priors and more recently, efficient
Transformers architectures applying small memory footprint implicit attention
methods via low rank decomposition techniques. The goal of the paper is
twofold. Proposed by us Graph Kernel Attention Transformers (or GKATs) are much
more expressive than SOTA GNNs as capable of modeling longer-range dependencies
within a single layer. Consequently, they can use more shallow architecture
design. Furthermore, GKAT attention layers scale linearly rather than
quadratically in the number of nodes of the input graphs, even when those
graphs are dense, requiring less compute than their regular graph attention
counterparts. They achieve it by applying new classes of graph kernels
admitting random feature map decomposition via random walks on graphs. As a
byproduct of the introduced techniques, we obtain a new class of learnable
graph sketches, called graphots, compactly encoding topological graph
properties as well as nodes' features. We conducted exhaustive empirical
comparison of our method with nine different GNN classes on tasks ranging from
motif detection through social network classification to bioinformatics
challenges, showing consistent gains coming from GKATs.
- Abstract(参考訳): 我々は,グラフカーネル,注目に基づくネットワークと構造的先行概念,さらに最近では,低階分解技術を用いて,小さなメモリフットプリントを暗黙の注意法で適用した効率的なトランスフォーマーアーキテクチャといった,これまで独立に研究されてきたいくつかの概念を組み合わせることで,新しいグラフニューラルネットワーク(GNN)のクラスを導入する。
論文の目標は2倍です。
グラフカーネルアテンショントランスフォーマー(GKAT)は、単一のレイヤ内で長距離依存関係をモデリングできるため、SOTA GNNよりもはるかに表現力がある。
その結果、より浅いアーキテクチャ設計を使うことができる。
さらに、gkatの注意層は入力グラフのノード数を2乗的にではなく線形にスケールし、これらのグラフが密度が高い場合でも、通常のグラフの注意層よりも計算量が少なくなる。
グラフ上のランダムウォークによるランダムな特徴写像分解を許容するグラフカーネルの新しいクラスを適用することで実現している。
提案手法の副産物として,トポロジカルグラフ特性とノードの特徴をコンパクトに符号化するグラクトと呼ばれる,学習可能なグラフスケッチの新たなクラスを得る。
本手法は,モチーフ検出からソーシャルネットワーク分類,バイオインフォマティクスの課題まで,gkatsから得られる一貫した成果を示す9種類のgnnクラスと徹底的に比較した。
関連論文リスト
- Large Scale Training of Graph Neural Networks for Optimal Markov-Chain
Partitioning Using the Kemeny Constant [1.9716028647013701]
我々は,マルコフ連鎖のグラフ分割問題に対処するGNNアーキテクチャをいくつか提案する。
このアプローチは、提案されたパーティショニングがケメニー定数をどの程度変更するかを最小化することを目的としている。
線形層を持つグラフSAGEベースのGNNが、この文脈でより大きく、より表現力に富んだアテンションベースモデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-12-22T17:19:50Z) - Laplacian Canonization: A Minimalist Approach to Sign and Basis
Invariant Spectral Embedding [36.61907023057978]
スペクトル埋め込みは強力なグラフ計算手法であり、グラフトランスフォーマーの有効性から最近多くの注目を集めている。
従来の手法は、新しい不変量を学び、高い複雑さに苦しむために、コストのかかるアプローチを開発した。
本研究では,固有ベクトルの正準方向を直接求めることにより,あいまいさを解消する最小限のアプローチを検討する。
論文 参考訳(メタデータ) (2023-10-28T14:35:10Z) - Discrete Graph Auto-Encoder [52.50288418639075]
離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。
まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。
2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
論文 参考訳(メタデータ) (2023-06-13T12:40:39Z) - Hub-aware Random Walk Graph Embedding Methods for Classification [68.8204255655161]
ノード分類問題に特化して設計されたランダムウォークに基づく2つの新しいグラフ埋め込みアルゴリズムを提案する。
提案手法は,実世界のネットワークの埋め込みを訓練した3つの分類アルゴリズムの分類性能を解析して実験的に評価する。
論文 参考訳(メタデータ) (2022-09-15T20:41:18Z) - Gransformer: Transformer-based Graph Generation [7.799648230758492]
Gransformer は変換器を利用するグラフを生成するアルゴリズムである。
グラフの構造情報を活用するために,単純な自己回帰変換器エンコーダを拡張した。
本研究では,この手法を実世界の2つのデータセット上で評価し,最先端の自己回帰グラフ生成手法と比較する。
論文 参考訳(メタデータ) (2022-03-25T14:05:12Z) - Fractal Structure and Generalization Properties of Stochastic
Optimization Algorithms [71.62575565990502]
最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。
さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
論文 参考訳(メタデータ) (2021-06-09T08:05:36Z) - Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。
新規な構造化融合正規化に基づく一般グラフ推定器を提案する。
提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文 参考訳(メタデータ) (2021-03-05T04:42:32Z) - Generalized Matrix Factorization: efficient algorithms for fitting
generalized linear latent variable models to large data arrays [62.997667081978825]
一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。
GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。
本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
論文 参考訳(メタデータ) (2020-10-06T04:28:19Z) - Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。
提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。
また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
論文 参考訳(メタデータ) (2020-07-24T17:38:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。