論文の概要: Comparing Graph Transformers via Positional Encodings

• arxiv url: http://arxiv.org/abs/2402.14202v4
• Date: Thu, 22 Aug 2024 23:22:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 19:58:50.701252
• Title: Comparing Graph Transformers via Positional Encodings
• Title（参考訳）: 位置符号化によるグラフ変換器の比較
• Authors: Mitchell Black, Zhengchao Wan, Gal Mishne, Amir Nayyeri, Yusu Wang,
• Abstract要約: グラフ変換器の識別能力は位置符号化の選択と密接に結びついている。 位置符号化には、絶対位置符号化(APE)と相対位置符号化(RPE)の2種類がある。 APE と RPE を用いたグラフトランスフォーマーは、パワーの区別の点で等価であることを示す。
• 参考スコア（独自算出の注目度）: 11.5844121984212
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The distinguishing power of graph transformers is closely tied to the choice of positional encoding: features used to augment the base transformer with information about the graph. There are two primary types of positional encoding: absolute positional encodings (APEs) and relative positional encodings (RPEs). APEs assign features to each node and are given as input to the transformer. RPEs instead assign a feature to each pair of nodes, e.g., graph distance, and are used to augment the attention block. A priori, it is unclear which method is better for maximizing the power of the resulting graph transformer. In this paper, we aim to understand the relationship between these different types of positional encodings. Interestingly, we show that graph transformers using APEs and RPEs are equivalent in terms of distinguishing power. In particular, we demonstrate how to interchange APEs and RPEs while maintaining their distinguishing power in terms of graph transformers. Based on our theoretical results, we provide a study on several APEs and RPEs (including the resistance distance and the recently introduced stable and expressive positional encoding (SPE)) and compare their distinguishing power in terms of transformers. We believe our work will help navigate the huge number of choices of positional encoding and will provide guidance on the future design of positional encodings for graph transformers.
• Abstract（参考訳）: グラフ変換器の識別能力は、位置符号化の選択と密接に結びついている。 位置符号化には、絶対位置符号化(APE)と相対位置符号化(RPE)の2種類がある。 APEは各ノードに特徴を割り当て、変換器への入力として与えられる。 RPEは代わりに、例えばグラフ距離などの各ノードに機能を割り当て、アテンションブロックを増強するために使用される。 先行して、結果のグラフ変換器のパワーを最大化するためにどの方法が優れているかは不明確である。 本稿では,これらの異なるタイプの位置符号化の関係を理解することを目的とする。 興味深いことに、 APE と RPE を用いたグラフ変換器は、パワーの区別の点で等価である。 特に, APE と RPE をグラフ変換器の区別能力を維持しながら交換する方法を実証する。 理論的な結果に基づき, 抵抗距離と最近導入された安定かつ表現力のある位置符号化(SPE)を含む複数の APE および RPE について検討し, 変圧器による識別能力の比較を行った。 我々の研究は、位置変換の膨大な数の選択をナビゲートし、グラフ変換器のための位置変換の将来の設計に関するガイダンスを提供すると信じている。

関連論文リスト

• Graph as Point Set [31.448841287258116]
  本稿では,相互接続ノードを独立点の集合に変換するグラフ・ツー・セット変換法を提案する。 これにより、セットエンコーダを使用してグラフから学習することが可能になり、グラフニューラルネットワークの設計空間が大幅に拡張される。 提案手法の有効性を示すために,グラフから変換された点集合を入力として受け入れる変換器アーキテクチャであるPoint Set Transformer (PST)を導入する。
  論文  参考訳（メタデータ） (2024-05-05T02:29:41Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• Transformers Meet Directed Graphs [18.490890946129284]
  有向グラフの変換は、ユビキタスドメインに適用可能であるにもかかわらず、驚くほど過小評価されているトピックである。 本研究では、有向グラフに対する2つの方向対応および構造対応の位置符号化を提案する。 ソートネットワークの正当性テストやソースコード理解など,様々な下流タスクにおいて,余分な方向性情報が有用であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T19:33:14Z)
• A Length-Extrapolatable Transformer [98.54835576985664]
  長さ外挿、すなわち短いテキストのトレーニングに焦点をあて、長いシーケンスを評価します。 注目度を最大化するために,相対的な位置埋め込みを導入する。 言語モデルを用いてトランスフォーマーの変種を評価する。
  論文  参考訳（メタデータ） (2022-12-20T18:56:20Z)
• Pure Transformers are Powerful Graph Learners [51.36884247453605]
  グラフ固有の修正のない標準変換器は、理論と実践の両方において、グラフ学習において有望な結果をもたらす可能性があることを示す。 このアプローチは、理論的には、同変線形層からなる不変グラフネットワーク(2-IGN)と同程度に表現可能であることを証明している。 提案手法は,Tokenized Graph Transformer (TokenGT) を作成した。
  論文  参考訳（メタデータ） (2022-07-06T08:13:06Z)
• SepTr: Separable Transformer for Audio Spectrogram Processing [74.41172054754928]
  分離可能トランス (Separable Transformer, SepTr) と呼ばれる新しい視覚変換器アーキテクチャを提案する。 SepTrは2つのトランスフォーマーブロックを逐次的に使用し、1つは同じ周波数ビン内のトークンに、もう1つは同じ時間間隔でトークンに出席する。 我々は3つのベンチマークデータセットで実験を行い、我々のアーキテクチャが従来のビジョントランスフォーマーや他の最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-03-17T19:48:43Z)
• Learnable Fourier Features for Multi-DimensionalSpatial Positional Encoding [96.9752763607738]
  本稿では,学習可能なフーリエ特徴に基づく位置符号化手法を提案する。 本研究では,多次元位置符号化のための学習可能な特徴表現が既存の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-05T04:40:18Z)
• Transformer-Based Deep Image Matching for Generalizable Person Re-identification [114.56752624945142]
  画像マッチングと距離学習にトランスフォーマーを適用する可能性について検討する。 視覚変換器 (ViT) とデコーダ付きバニラ変換器 (Vanilla Transformer) はイメージ・ツー・イメージ・アテンションの欠如により画像マッチングに適していないことがわかった。 そこで本研究では,クエリキーの類似性のみを保ちながら,ソフトマックス重み付けによる注意の完全な実装を省略する,単純化されたデコーダを提案する。
  論文  参考訳（メタデータ） (2021-05-30T05:38:33Z)
• Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
  トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
  論文  参考訳（メタデータ） (2021-04-18T03:44:57Z)
• Do We Really Need Explicit Position Encodings for Vision Transformers? [29.7662570764424]
  入力トークンの局所近傍に条件付き位置符号化方式を提案する。 PEGを用いた新しいモデルは、Visual Transformer (CPVT) と呼ばれ、任意の長さの入力シーケンスを自然に処理できる。 我々は, cpvt が視覚的に類似したアテンションマップとなり, 予め定義された位置符号化よりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-02-22T10:29:55Z)
• A Generalization of Transformer Networks to Graphs [5.736353542430439]
  標準モデルと比較して4つの新しい特性を持つグラフトランスを紹介します。 アーキテクチャはエッジ特徴表現に拡張され、化学(結合型)やリンク予測(知識グラフにおけるエンタリティ関係)といったタスクに重要なものとなる。
  論文  参考訳（メタデータ） (2020-12-17T16:11:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。