論文の概要: Diffusing Graph Attention

• arxiv url: http://arxiv.org/abs/2303.00613v1
• Date: Wed, 1 Mar 2023 16:11:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-02 14:11:18.669319
• Title: Diffusing Graph Attention
• Title（参考訳）: グラフ注意の拡散
• Authors: Daniel Glickman, Eran Yahav
• Abstract要約: 任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。 GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。 8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
• 参考スコア（独自算出の注目度）: 15.013509382069046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dominant paradigm for machine learning on graphs uses Message Passing Graph Neural Networks (MP-GNNs), in which node representations are updated by aggregating information in their local neighborhood. Recently, there have been increasingly more attempts to adapt the Transformer architecture to graphs in an effort to solve some known limitations of MP-GNN. A challenging aspect of designing Graph Transformers is integrating the arbitrary graph structure into the architecture. We propose Graph Diffuser (GD) to address this challenge. GD learns to extract structural and positional relationships between distant nodes in the graph, which it then uses to direct the Transformer's attention and node representation. We demonstrate that existing GNNs and Graph Transformers struggle to capture long-range interactions and how Graph Diffuser does so while admitting intuitive visualizations. Experiments on eight benchmarks show Graph Diffuser to be a highly competitive model, outperforming the state-of-the-art in a diverse set of domains.
• Abstract（参考訳）: グラフ上の機械学習の主流パラダイムは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)を使用しており、ノード表現は、近隣の情報を集約することで更新される。 近年,MP-GNNのいくつかの既知の制限を解決するため,トランスフォーマーアーキテクチャをグラフに適用する試みが増えている。 Graph Transformerを設計する上で難しい側面は、任意のグラフ構造をアーキテクチャに統合することだ。 この課題に対処するために、グラフディフューザ(GD)を提案する。 gdはグラフ内の遠隔ノード間の構造的および位置的関係を抽出し、トランスフォーマの注意とノード表現を指示するために使用する。 既存のGNNとGraph Transformerは、長距離インタラクションのキャプチャに苦労し、Graph Diffuserが直感的な視覚化を認めながらそれをどのように行うかを実証する。 8つのベンチマークによる実験では、グラフディフューザが競争の激しいモデルであることが示され、さまざまな領域で最先端を上回っている。

関連論文リスト

• Graph Attention with Random Rewiring [12.409982249220812]
  本稿では,3つのパラダイムの利点を組み合わせた新しいGNNアーキテクチャであるGraph-Rewiring Attention with Structures (GRASS)を紹介する。 GRASSは、ランダムな正規グラフを重畳して入力グラフをリワイヤし、長距離情報伝搬を強化する。 また、グラフ構造化データに適したユニークな付加的なアテンション機構を採用し、計算効率を保ちながらグラフ帰納バイアスを提供する。
  論文  参考訳（メタデータ） (2024-07-08T06:21:56Z)
• Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information [0.8184895397419141]
  グラフトランスフォーマーは、メッセージパッシンググラフニューラルネットワーク(MP-GNN)の強力な代替品として登場した。 本稿では,グラフスペクトル情報を直接符号化する新しい手法であるグラフスペクトルトークンを提案する。 既存のグラフ変換器であるGraphTransとSubFormerを拡張して,提案手法の有効性をベンチマークする。
  論文  参考訳（メタデータ） (2024-04-08T15:24:20Z)
• SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
  Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。 本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-21T03:11:53Z)
• Graph Transformer GANs with Graph Masked Modeling for Architectural Layout Generation [153.92387500677023]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 提案したグラフ変換器エンコーダは、局所的およびグローバルな相互作用をモデル化するために、Transformer内のグラフ畳み込みと自己アテンションを組み合わせる。 また,グラフ表現学習のための自己指導型事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T14:36:38Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• Graph Transformer GANs for Graph-Constrained House Generation [223.739067413952]
  本稿では,グラフノード関係を効果的に学習するために,GTGAN(Graph Transformer Generative Adversarial Network)を提案する。 GTGANは、グラフ制約のある住宅生成タスクにおいて、エンドツーエンドで効率的なグラフノード関係を学習する。
  論文  参考訳（メタデータ） (2023-03-14T20:35:45Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Graph Transformer Networks: Learning Meta-path Graphs to Improve GNNs [20.85042364993559]
  本稿では,新しいグラフ構造を生成し,タスクに有用な接続を含むグラフトランスフォーマーネットワーク(GTN)を提案する。 Fast Graph Transformer Networks (FastGTNs) は230倍高速で、100倍少ないメモリを使用する。 グラフ変換を、メタパスを超えた非局所的な操作を可能にするノードの意味的近接に拡張する。
  論文  参考訳（メタデータ） (2021-06-11T07:56:55Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。