論文の概要: Linear Transformer Topological Masking with Graph Random Features

• arxiv url: http://arxiv.org/abs/2410.03462v1
• Date: Tue, 15 Oct 2024 14:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 22:09:37.817451
• Title: Linear Transformer Topological Masking with Graph Random Features
• Title（参考訳）: グラフランダム特徴を持つ線形変圧器トポロジカルマスキング
• Authors: Isaac Reid, Kumar Avinava Dubey, Deepali Jain, Will Whitney, Amr Ahmed, Joshua Ainslie, Alex Bewley, Mithun Jacob, Aranyak Mehta, David Rendleman, Connor Schenck, Richard E. Turner, René Wagner, Adrian Weller, Krzysztof Choromanski,
• Abstract要約: 重み付き隣接行列の学習可能な関数としてトポロジカルマスクをパラメータ化する方法を示す。 私たちの効率的なマスキングアルゴリズムは、画像およびポイントクラウドデータのタスクに対して、強力なパフォーマンス向上を提供します。
• 参考スコア（独自算出の注目度）: 52.717865653036796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When training transformers on graph-structured data, incorporating information about the underlying topology is crucial for good performance. Topological masking, a type of relative position encoding, achieves this by upweighting or downweighting attention depending on the relationship between the query and keys in a graph. In this paper, we propose to parameterise topological masks as a learnable function of a weighted adjacency matrix -- a novel, flexible approach which incorporates a strong structural inductive bias. By approximating this mask with graph random features (for which we prove the first known concentration bounds), we show how this can be made fully compatible with linear attention, preserving $\mathcal{O}(N)$ time and space complexity with respect to the number of input tokens. The fastest previous alternative was $\mathcal{O}(N \log N)$ and only suitable for specific graphs. Our efficient masking algorithms provide strong performance gains for tasks on image and point cloud data, including with $>30$k nodes.
• Abstract（参考訳）: グラフ構造化データ上でトランスフォーマーをトレーニングする場合、基礎となるトポロジに関する情報を組み込むことは、優れたパフォーマンスに不可欠である。 相対的な位置符号化の一種であるトポロジマスキングは、グラフ内のクエリとキーの関係に応じて、重み付けや重み付けによってこれを達成している。 本稿では,トポロジカルマスクを重み付き隣接行列の学習可能な関数としてパラメータ化することを提案する。 このマスクをグラフランダムな特徴(これは最初の既知の濃度境界を証明している)で近似することにより、入力トークンの数に関して、$\mathcal{O}(N)$時間と空間の複雑さを保ちながら、このマスクが線形注意と完全に整合できることを示す。 以前の最速の代替案は$\mathcal{O}(N \log N)$で、特定のグラフにのみ適していた。 我々の効率的なマスキングアルゴリズムは、$30$kのノードを含む画像およびポイントクラウドデータのタスクに対して、強力なパフォーマンス向上を提供します。

関連論文リスト

• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• GraphMAE2: A Decoding-Enhanced Masked Self-Supervised Graph Learner [28.321233121613112]
  マスク付きグラフオートエンコーダ(例えば、GraphMAE)は、最近、有望な結果を生み出した。 本稿では,この問題を克服する目的で,マスク付き自己教師型学習フレームワークGraphMAE2を提案する。 GraphMAE2は、さまざまな公開データセット上で、常に上位結果を生成することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T17:25:50Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Neural Topological Ordering for Computation Graphs [23.225391263047364]
  エンコーダ-デコーダフレームワークを用いたトポロジ的順序付けのためのエンドツーエンドの機械学習に基づくアプローチを提案する。 このモデルでは,最大2kノードの合成グラフにおいて,いくつかのトポロジ的順序付けベースラインで,より高速に動作可能であることを示す。
  論文  参考訳（メタデータ） (2022-07-13T00:12:02Z)
• Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks [40.64326531965043]
  グラフニューラルネットワークは、タスク関連構造を効率的に抽出し、非関連部分に不変であるべきである。 本研究では,元のグラフの一連の部分グラフからグラフ表現を学習し,タスク関連部分構造や階層構造をよりよく把握し,$noisy$partをスキップすることを提案する。 ソフトマスクGNN層は固定サンプルやドロップ比に制限されないため、任意の大きさのグラフを抽出することがより柔軟である。
  論文  参考訳（メタデータ） (2022-06-11T11:04:23Z)
• Gransformer: Transformer-based Graph Generation [14.161975556325796]
  Gransformerは、グラフを生成するためのTransformerに基づくアルゴリズムである。 我々は、与えられたグラフの構造情報を利用するためにTransformerエンコーダを変更する。 また、ノードペア間のグラフベースの親しみ度尺度も導入する。
  論文  参考訳（メタデータ） (2022-03-25T14:05:12Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Accurate Learning of Graph Representations with Graph Multiset Pooling [45.72542969364438]
  本稿では,その構造的依存関係に応じてノード間の相互作用をキャプチャするグラフマルチセットトランス (GMT) を提案する。 実験の結果,GMTはグラフ分類ベンチマークにおいて,最先端のグラフプーリング法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-23T07:45:58Z)
• My Body is a Cage: the Role of Morphology in Graph-Based Incompatible Control [65.77164390203396]
  本稿では,グラフにエンコードされた形態情報により,その性能が向上しないことを示す既存手法に関する一連のアブリケーションを示す。 グラフ構造からGNNが抽出した利益は、メッセージパッシングのために生じる困難によって上回っているという仮説により、Amorpheusも提案する。
  論文  参考訳（メタデータ） (2020-10-05T08:37:11Z)
• Building powerful and equivariant graph neural networks with structural message-passing [74.93169425144755]
  本稿では,2つのアイデアに基づいた,強力かつ同変なメッセージパッシングフレームワークを提案する。 まず、各ノードの周囲の局所的コンテキスト行列を学習するために、特徴に加えてノードの1ホット符号化を伝搬する。 次に,メッセージのパラメトリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-06-26T17:15:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。