論文の概要: Graph Mixer Networks

• arxiv url: http://arxiv.org/abs/2301.12493v1
• Date: Sun, 29 Jan 2023 17:03:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 16:47:19.594223
• Title: Graph Mixer Networks
• Title（参考訳）: グラフミキサーネットワーク
• Authors: Ahmet Sar{\i}g\"un
• Abstract要約: グラフ構造化データの基盤ミクサーの原理を組み込んだグラフミクサーネットワーク(GNasNets, Graph Nasreddin Nets)を提案する。 複数のアグリゲータを持つPNAモデルを用いて,提案したGMNはグラフ変換器と比較して性能が向上したことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, the attention mechanism has demonstrated superior performance in various tasks, leading to the emergence of GAT and Graph Transformer models that utilize this mechanism to extract relational information from graph-structured data. However, the high computational cost associated with the Transformer block, as seen in Vision Transformers, has motivated the development of alternative architectures such as MLP-Mixers, which have been shown to improve performance in image tasks while reducing the computational cost. Despite the effectiveness of Transformers in graph-based tasks, their computational efficiency remains a concern. The logic behind MLP-Mixers, which addresses this issue in image tasks, has the potential to be applied to graph-structured data as well. In this paper, we propose the Graph Mixer Network (GMN), also referred to as Graph Nasreddin Nets (GNasNets), a framework that incorporates the principles of MLP-Mixers for graph-structured data. Using a PNA model with multiple aggregators as the foundation, our proposed GMN has demonstrated improved performance compared to Graph Transformers. The source code is available publicly at https://github.com/asarigun/GraphMixerNetworks.
• Abstract（参考訳）: 近年、注目機構は様々なタスクにおいて優れた性能を示しており、この機構を利用してグラフ構造化データから関係情報を抽出するGATおよびグラフトランスフォーマーモデルが出現している。 しかし、Vision Transformers に見られるように、Transformer ブロックに関連する高い計算コストは、計算コストを削減しつつ、画像タスクのパフォーマンスを向上させることが示されている MLP-Mixers のような代替アーキテクチャの開発を動機付けている。 グラフに基づくタスクにおけるトランスフォーマーの有効性にもかかわらず、その計算効率は依然として懸念されている。 画像タスクにおけるこの問題に対処するMLP-Mixersのロジックは、グラフ構造化データにも適用される可能性がある。 本稿では,グラフ構造化データに対するMLP-Mixerの原理を取り入れたフレームワークであるGNasNets(Graph Nasreddin Nets)を提案する。 複数のアグリゲータを備えたPNAモデルを基礎として提案したGMNでは,グラフ変換器と比較して性能が向上した。 ソースコードはhttps://github.com/asarigun/GraphMixerNetworksで公開されている。

関連論文リスト

• Learning Graph Quantized Tokenizers for Transformers [28.79505338383552]
  グラフトランスフォーマー(GT)は、さまざまなグラフ学習タスクにおいて、グラフニューラルネットワーク(GNN)よりも優れた、ディープラーニングのリードモデルとして登場した。 GQT (textbfGraph textbfQuantized textbfTokenizer) を導入した。 GQTとトークン変調を組み合わせることで、Transformerエンコーダは18のベンチマークのうち16の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-17T17:38:24Z)
• Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
  本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-05-07T06:00:47Z)
• SpikeGraphormer: A High-Performance Graph Transformer with Spiking Graph Attention [1.4126245676224705]
  Graph Transformerは、Graph Neural Networks(GNN)固有の制限を軽減するための、有望なソリューションとして登場した。 本稿では,SNNとグラフ変換器の統合に関する新たな知見を提案し,Spiking Graph Attention (SGA) モジュールを設計する。 SpikeGraphormerは、さまざまなデータセットにわたる既存の最先端アプローチを一貫して上回る。
  論文  参考訳（メタデータ） (2024-03-21T03:11:53Z)
• Deep Prompt Tuning for Graph Transformers [55.2480439325792]
  ファインチューニングはリソース集約型であり、大きなモデルのコピーを複数保存する必要がある。 ファインチューニングの代替として,ディープグラフプロンプトチューニングと呼ばれる新しい手法を提案する。 事前学習したパラメータを凍結し、追加したトークンのみを更新することにより、フリーパラメータの数を減らし、複数のモデルコピーを不要にする。
  論文  参考訳（メタデータ） (2023-09-18T20:12:17Z)
• SGFormer: Simplifying and Empowering Transformers for Large-Graph Representations [75.71298846760303]
  ノード特性予測ベンチマークにおいて,一層注意が驚くほど高い性能を示すことを示す。 提案手法をSGFormer (Simplified Graph Transformer) と呼ぶ。 提案手法は,大きなグラフ上にトランスフォーマーを構築する上で,独立性のある新たな技術パスを啓蒙するものである。
  論文  参考訳（メタデータ） (2023-06-19T08:03:25Z)
• Diffusing Graph Attention [15.013509382069046]
  任意のグラフ構造をアーキテクチャに統合するグラフ変換器の新しいモデルを開発した。 GDはグラフ内の遠いノード間の構造的および位置的関係を抽出し、Transformerの注意とノード表現を指示する。 8つのベンチマークの実験では、グラフディフューザは高い競争力を持つモデルであることが示され、さまざまなドメインセットにおける最先端よりも優れています。
  論文  参考訳（メタデータ） (2023-03-01T16:11:05Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Do Transformers Really Perform Bad for Graph Representation? [62.68420868623308]
  標準の Transformer アーキテクチャをベースに構築された Graphormer について述べる。 グラフでTransformerを利用する上で重要な洞察は、グラフの構造情報をモデルに効果的にエンコードする必要があることである。
  論文  参考訳（メタデータ） (2021-06-09T17:18:52Z)
• Dirichlet Graph Variational Autoencoder [65.94744123832338]
  本稿では,グラフクラスタメンバシップを潜在因子とするDGVAE(Dirichlet Graph Variational Autoencoder)を提案する。 バランスグラフカットにおける低パス特性により、入力グラフをクラスタメンバシップにエンコードする、Heattsと呼ばれるGNNの新しい変種を提案する。
  論文  参考訳（メタデータ） (2020-10-09T07:35:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。