論文の概要: Attending to Graph Transformers
- arxiv url: http://arxiv.org/abs/2302.04181v2
- Date: Tue, 21 Nov 2023 14:56:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 05:39:21.030784
- Title: Attending to Graph Transformers
- Title(参考訳): グラフトランスフォーマーに参加する
- Authors: Luis M\"uller, Mikhail Galkin, Christopher Morris, Ladislav
Ramp\'a\v{s}ek
- Abstract要約: グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。
ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。
グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
- 参考スコア(独自算出の注目度): 6.742928705883249
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, transformer architectures for graphs emerged as an alternative to
established techniques for machine learning with graphs, such as
(message-passing) graph neural networks. So far, they have shown promising
empirical results, e.g., on molecular prediction datasets, often attributed to
their ability to circumvent graph neural networks' shortcomings, such as
over-smoothing and over-squashing. Here, we derive a taxonomy of graph
transformer architectures, bringing some order to this emerging field. We
overview their theoretical properties, survey structural and positional
encodings, and discuss extensions for important graph classes, e.g., 3D
molecular graphs. Empirically, we probe how well graph transformers can recover
various graph properties, how well they can deal with heterophilic graphs, and
to what extent they prevent over-squashing. Further, we outline open challenges
and research direction to stimulate future work. Our code is available at
https://github.com/luis-mueller/probing-graph-transformers.
- Abstract(参考訳): 近年、グラフのトランスフォーマーアーキテクチャが、(メッセージパス)グラフニューラルネットワークのようなグラフを用いた機械学習の確立した技術に代わるものとして登場した。
これまでのところ、分子予測データセットのような有望な実証結果が示されており、しばしば、過剰なスムーシングや過剰な探索のようなグラフニューラルネットワークの欠点を回避する能力によって引き起こされている。
ここではグラフトランスフォーマーアーキテクチャの分類を導出し、この新興分野に秩序をもたらします。
それらの理論的性質を概説し、構造的および位置的エンコーディングを調査し、重要なグラフクラス(例えば3次元分子グラフ)の拡張について議論する。
経験的に、グラフトランスフォーマーが様々なグラフ特性を回復し、親和性グラフをどれだけうまく処理できるか、どの程度過剰な探索を防ぐかを調査した。
さらに,今後の課題と研究の方向性について概説する。
私たちのコードはhttps://github.com/luis-mueller/probing-graph-transformersで利用可能です。
関連論文リスト
- Graph Transformers: A Survey [15.68583521879617]
グラフトランスフォーマーは機械学習の最近の進歩であり、グラフ構造化データのためのニューラルネットワークモデルの新たなクラスを提供する。
この調査は、グラフトランスフォーマー研究における最近の進歩と課題について、詳細なレビューを提供する。
論文 参考訳(メタデータ) (2024-07-13T05:15:24Z) - Transformers as Graph-to-Graph Models [13.630495199720423]
トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。
我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
論文 参考訳(メタデータ) (2023-10-27T07:21:37Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - Exphormer: Sparse Transformers for Graphs [5.055213942955148]
パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。
Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
論文 参考訳(メタデータ) (2023-03-10T18:59:57Z) - Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。
近年の研究では、グラフ表現学習における事前学習の有用性が示されている。
本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
論文 参考訳(メタデータ) (2023-02-06T16:26:29Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。
まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。
本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
論文 参考訳(メタデータ) (2022-02-17T06:02:06Z) - Graph Self-Attention for learning graph representation with Transformer [13.49645012479288]
本稿では,トランスフォーマーモデルでグラフ表現を学習するための新しいグラフ自己認識モジュールを提案する。
本稿では,クエリ,キー,グラフ情報の相互作用を考慮したコンテキスト認識型アテンションを提案する。
本手法は,グラフ表現学習の複数のベンチマークにおいて,最先端の性能を実現する。
論文 参考訳(メタデータ) (2022-01-30T11:10:06Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳(メタデータ) (2020-10-09T07:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。