論文の概要: Graph Mixer Networks
- arxiv url: http://arxiv.org/abs/2301.12493v1
- Date: Sun, 29 Jan 2023 17:03:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 16:47:19.594223
- Title: Graph Mixer Networks
- Title(参考訳): グラフミキサーネットワーク
- Authors: Ahmet Sar{\i}g\"un
- Abstract要約: グラフ構造化データの基盤ミクサーの原理を組み込んだグラフミクサーネットワーク(GNasNets, Graph Nasreddin Nets)を提案する。
複数のアグリゲータを持つPNAモデルを用いて,提案したGMNはグラフ変換器と比較して性能が向上したことを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the attention mechanism has demonstrated superior
performance in various tasks, leading to the emergence of GAT and Graph
Transformer models that utilize this mechanism to extract relational
information from graph-structured data. However, the high computational cost
associated with the Transformer block, as seen in Vision Transformers, has
motivated the development of alternative architectures such as MLP-Mixers,
which have been shown to improve performance in image tasks while reducing the
computational cost. Despite the effectiveness of Transformers in graph-based
tasks, their computational efficiency remains a concern. The logic behind
MLP-Mixers, which addresses this issue in image tasks, has the potential to be
applied to graph-structured data as well. In this paper, we propose the Graph
Mixer Network (GMN), also referred to as Graph Nasreddin Nets (GNasNets), a
framework that incorporates the principles of MLP-Mixers for graph-structured
data. Using a PNA model with multiple aggregators as the foundation, our
proposed GMN has demonstrated improved performance compared to Graph
Transformers. The source code is available publicly at
https://github.com/asarigun/GraphMixerNetworks.
- Abstract(参考訳): 近年、注目機構は様々なタスクにおいて優れた性能を示しており、この機構を利用してグラフ構造化データから関係情報を抽出するGATおよびグラフトランスフォーマーモデルが出現している。
しかし、Vision Transformers に見られるように、Transformer ブロックに関連する高い計算コストは、計算コストを削減しつつ、画像タスクのパフォーマンスを向上させることが示されている MLP-Mixers のような代替アーキテクチャの開発を動機付けている。
グラフに基づくタスクにおけるトランスフォーマーの有効性にもかかわらず、その計算効率は依然として懸念されている。
画像タスクにおけるこの問題に対処するMLP-Mixersのロジックは、グラフ構造化データにも適用される可能性がある。
本稿では,グラフ構造化データに対するMLP-Mixerの原理を取り入れたフレームワークであるGNasNets(Graph Nasreddin Nets)を提案する。
複数のアグリゲータを備えたPNAモデルを基礎として提案したGMNでは,グラフ変換器と比較して性能が向上した。
ソースコードはhttps://github.com/asarigun/GraphMixerNetworksで公開されている。
関連論文リスト
- Graph Transformers without Positional Encodings [0.7252027234425334]
グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。
我々は,多数の標準GNNベンチマークデータセットにおいて,SOTAグラフ変換器に匹敵する性能を実現することを示す。
論文 参考訳(メタデータ) (2024-01-31T12:33:31Z) - Deep Prompt Tuning for Graph Transformers [55.2480439325792]
ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。
ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。
事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
論文 参考訳(メタデータ) (2023-09-18T20:12:17Z) - SGFormer: Simplifying and Empowering Transformers for Large-Graph
Representations [78.97396248946174]
ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。
提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。
提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
論文 参考訳(メタデータ) (2023-06-19T08:03:25Z) - Graph Mixup with Soft Alignments [49.61520432554505]
本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。
ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
論文 参考訳(メタデータ) (2023-06-11T22:04:28Z) - Diffusing Graph Attention [15.013509382069046]
任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。
GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。
8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
論文 参考訳(メタデータ) (2023-03-01T16:11:05Z) - On the Effectiveness of Hybrid Pooling in Mixup-Based Graph Learning for
Language Processing [15.815912396677401]
グラフニューラルネットワーク(GNN)ベースのグラフ学習は、自然言語やプログラミング言語処理で人気がある。
近年,グラフ学習タスクにおいてGNNを強化するために,Manifold-Mixupが広く採用されている。
本稿では,グラフプーリング演算子がMixupに基づくグラフ学習の性能に与える影響について検討する。
論文 参考訳(メタデータ) (2022-10-06T14:37:24Z) - Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。
完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。
本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
論文 参考訳(メタデータ) (2022-09-20T14:41:37Z) - Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。
グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
論文 参考訳(メタデータ) (2021-06-09T17:18:52Z) - Dirichlet Graph Variational Autoencoder [65.94744123832338]
本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。
バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
論文 参考訳(メタデータ) (2020-10-09T07:35:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。