論文の概要: Graph Kernel Attention Transformers

• arxiv url: http://arxiv.org/abs/2107.07999v1
• Date: Fri, 16 Jul 2021 16:39:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-19 15:29:08.707030
• Title: Graph Kernel Attention Transformers
• Title（参考訳）: グラフカーネル注意変換器
• Authors: Krzysztof Choromanski, Han Lin, Haoxian Chen, Jack Parker-Holder
• Abstract要約: 我々は,これまで独立に研究されてきたいくつかの概念を組み合わせることで,新しいグラフニューラルネットワーク(GNN)のクラスを導入する。 論文の目標は2つある。我々はGKAT(Graph Kernel Attention Transformers)によって提案され、SOTA GNNよりもはるかに表現力が高い。 我々は,ネットワーク分類からバイオインフォマティクスの課題に至るまで,9つの異なるGNNクラスに対して,本手法を徹底的に比較した。
• 参考スコア（独自算出の注目度）: 22.83513608679925
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a new class of graph neural networks (GNNs), by combining several concepts that were so far studied independently - graph kernels, attention-based networks with structural priors and more recently, efficient Transformers architectures applying small memory footprint implicit attention methods via low rank decomposition techniques. The goal of the paper is twofold. Proposed by us Graph Kernel Attention Transformers (or GKATs) are much more expressive than SOTA GNNs as capable of modeling longer-range dependencies within a single layer. Consequently, they can use more shallow architecture design. Furthermore, GKAT attention layers scale linearly rather than quadratically in the number of nodes of the input graphs, even when those graphs are dense, requiring less compute than their regular graph attention counterparts. They achieve it by applying new classes of graph kernels admitting random feature map decomposition via random walks on graphs. As a byproduct of the introduced techniques, we obtain a new class of learnable graph sketches, called graphots, compactly encoding topological graph properties as well as nodes' features. We conducted exhaustive empirical comparison of our method with nine different GNN classes on tasks ranging from motif detection through social network classification to bioinformatics challenges, showing consistent gains coming from GKATs.
• Abstract（参考訳）: 我々は,グラフカーネル,注目に基づくネットワークと構造的先行概念,さらに最近では,低階分解技術を用いて,小さなメモリフットプリントを暗黙の注意法で適用した効率的なトランスフォーマーアーキテクチャといった,これまで独立に研究されてきたいくつかの概念を組み合わせることで,新しいグラフニューラルネットワーク(GNN)のクラスを導入する。 論文の目標は2倍です。 グラフカーネルアテンショントランスフォーマー(GKAT)は、単一のレイヤ内で長距離依存関係をモデリングできるため、SOTA GNNよりもはるかに表現力がある。 その結果、より浅いアーキテクチャ設計を使うことができる。 さらに、gkatの注意層は入力グラフのノード数を2乗的にではなく線形にスケールし、これらのグラフが密度が高い場合でも、通常のグラフの注意層よりも計算量が少なくなる。 グラフ上のランダムウォークによるランダムな特徴写像分解を許容するグラフカーネルの新しいクラスを適用することで実現している。 提案手法の副産物として,トポロジカルグラフ特性とノードの特徴をコンパクトに符号化するグラクトと呼ばれる,学習可能なグラフスケッチの新たなクラスを得る。 本手法は,モチーフ検出からソーシャルネットワーク分類,バイオインフォマティクスの課題まで,gkatsから得られる一貫した成果を示す9種類のgnnクラスと徹底的に比較した。

関連論文リスト

• Convergence Guarantees for the DeepWalk Embedding on Block Models [9.898607871253775]
  ブロックモデル(SBM)から得られたグラフ上でDeepWalkアルゴリズムの使い方を示す。 単純化されているにもかかわらず、SBMは大きなグラフ上のアルゴリズムを解析するための古典的なモデルであることが証明されている。
  論文  参考訳（メタデータ） (2024-10-26T18:35:11Z)
• Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection [6.759148939470332]
  アルゴリズムは、$ell_p$-normの目的を持つハードマージンSVMに収束することを示す。 具体的には、これらのアルゴリズムは、$ell_p$-normの目的を持つ一般化されたハードマージンSVMに収束することを示す。
  論文  参考訳（メタデータ） (2024-10-18T16:32:06Z)
• Linear Transformer Topological Masking with Graph Random Features [52.717865653036796]
  重み付き隣接行列の学習可能な関数としてトポロジカルマスクをパラメータ化する方法を示す。 私たちの効率的なマスキングアルゴリズムは、画像およびポイントクラウドデータのタスクに対して、強力なパフォーマンス向上を提供します。
  論文  参考訳（メタデータ） (2024-10-04T14:24:06Z)
• Quantum Maximum Entropy Inference and Hamiltonian Learning [4.9614587340495]
  この研究は、最大エントロピー推論とグラフィカルモデルの学習のためのアルゴリズムを量子領域に拡張する。 量子反復スケーリング(QIS)として知られる一般化は単純であるが、重要な課題は量子問題インスタンスの非可換性にある。 準ニュートン法によるQISとGDの性能向上について検討する。
  論文  参考訳（メタデータ） (2024-07-16T08:11:34Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
  結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。 新規な構造化融合正規化に基づく一般グラフ推定器を提案する。 提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
  論文  参考訳（メタデータ） (2021-03-05T04:42:32Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
  スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。 提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。 また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T17:38:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。