論文の概要: Attending to Graph Transformers

• arxiv url: http://arxiv.org/abs/2302.04181v3
• Date: Thu, 28 Mar 2024 19:35:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 21:06:09.749291
• Title: Attending to Graph Transformers
• Title（参考訳）: グラフ変換器への取り組み
• Authors: Luis Müller, Mikhail Galkin, Christopher Morris, Ladislav Rampášek,
• Abstract要約: グラフのトランスフォーマーアーキテクチャは、グラフを用いた機械学習の確立した技術に代わるものとして登場した。 ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。 グラフ変換器は, グラフ特性の回復, ヘテロ親水性グラフの処理能力, 過度なスキャッシングを防ぐ程度について検討する。
• 参考スコア（独自算出の注目度）: 5.609943831664869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, transformer architectures for graphs emerged as an alternative to established techniques for machine learning with graphs, such as (message-passing) graph neural networks. So far, they have shown promising empirical results, e.g., on molecular prediction datasets, often attributed to their ability to circumvent graph neural networks' shortcomings, such as over-smoothing and over-squashing. Here, we derive a taxonomy of graph transformer architectures, bringing some order to this emerging field. We overview their theoretical properties, survey structural and positional encodings, and discuss extensions for important graph classes, e.g., 3D molecular graphs. Empirically, we probe how well graph transformers can recover various graph properties, how well they can deal with heterophilic graphs, and to what extent they prevent over-squashing. Further, we outline open challenges and research direction to stimulate future work. Our code is available at https://github.com/luis-mueller/probing-graph-transformers.
• Abstract（参考訳）: 近年、グラフのトランスフォーマーアーキテクチャが、(メッセージパス)グラフニューラルネットワークのようなグラフを用いた機械学習の確立した技術に代わるものとして登場した。 これまでのところ、分子予測データセットでは、オーバースムーシングやオーバースキャッシングといったグラフニューラルネットワークの欠点を回避する能力に起因した、有望な実験結果(例:分子予測データセット)が示されている。 ここでは、グラフトランスフォーマーアーキテクチャの分類を導き、この新興分野に何らかの秩序をもたらす。 本稿では,それらの理論的性質を概説し,構造的および位置的エンコーディングを調査し,重要なグラフクラス,例えば3次元分子グラフの拡張について論じる。 実験では,グラフトランスフォーマーがグラフ特性の回復にどの程度有効か,不テロ親和性のあるグラフにどの程度うまく対処できるか,過度なスキャッシングを防ぐのかを検証した。 さらに,今後の作業を促進するために,オープンな課題と研究の方向性を概説する。 私たちのコードはhttps://github.com/luis-mueller/probing-graph-transformersで利用可能です。

関連論文リスト

• Graph Transformers: A Survey [15.68583521879617]
  グラフトランスフォーマーは機械学習の最近の進歩であり、グラフ構造化データのためのニューラルネットワークモデルの新たなクラスを提供する。 この調査は、グラフトランスフォーマー研究における最近の進歩と課題について、詳細なレビューを提供する。
  論文  参考訳（メタデータ） (2024-07-13T05:15:24Z)
• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Exphormer: Sparse Transformers for Graphs [5.055213942955148]
  パワフルでスケーラブルなグラフトランスフォーマーを構築するためのフレームワークであるExphormerを紹介します。 Exphormerは、様々なグラフデータセット上で、競争力のある実験結果を持つモデルを生成する。
  論文  参考訳（メタデータ） (2023-03-10T18:59:57Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Transformer for Graphs: An Overview from Architecture Perspective [86.3545861392215]
  グラフのために既存のTransformerモデルを分類し、様々なグラフタスクでそれらの効果を体系的に研究することが不可欠です。 まず、既存のモデルを分解し、バニラ変換器にグラフ情報を組み込む典型的な3つの方法を結論付けます。 本実験は,Transformerにおける現在のグラフ固有のモジュールの利点を確認し,異なる種類のグラフタスクにおけるそれらの利点を明らかにする。
  論文  参考訳（メタデータ） (2022-02-17T06:02:06Z)
• Graph Self-Attention for learning graph representation with Transformer [13.49645012479288]
  本稿では,トランスフォーマーモデルでグラフ表現を学習するための新しいグラフ自己認識モジュールを提案する。 本稿では,クエリ,キー,グラフ情報の相互作用を考慮したコンテキスト認識型アテンションを提案する。 本手法は,グラフ表現学習の複数のベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-01-30T11:10:06Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。