論文の概要: ChebMixer: Efficient Graph Representation Learning with MLP Mixer

• arxiv url: http://arxiv.org/abs/2403.16358v2
• Date: Tue, 4 Jun 2024 07:22:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 12:19:03.513788
• Title: ChebMixer: Efficient Graph Representation Learning with MLP Mixer
• Title（参考訳）: ChebMixer: MLP Mixerによる効率的なグラフ表現学習
• Authors: Xiaoyan Kui, Haonan Yan, Qinsong Li, Liming Chen, Beiji Zou,
• Abstract要約: Graph Transformerはノードをトークンとして扱う。 このグラフMixerは、コンピュータビジョンからの効率的なMixerテクニックを使用して、この問題に対処する。 我々は,高速なChebyshevsに基づくスペクトルフィルタリングを用いてトークン列を抽出するChebMixerという新しいアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 11.157943088568425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks have achieved remarkable success in learning graph representations, especially graph Transformer, which has recently shown superior performance on various graph mining tasks. However, graph Transformer generally treats nodes as tokens, which results in quadratic complexity regarding the number of nodes during self-attention computation. The graph MLP Mixer addresses this challenge by using the efficient MLP Mixer technique from computer vision. However, the time-consuming process of extracting graph tokens limits its performance. In this paper, we present a novel architecture named ChebMixer, a newly graph MLP Mixer that uses fast Chebyshev polynomials-based spectral filtering to extract a sequence of tokens. Firstly, we produce multiscale representations of graph nodes via fast Chebyshev polynomial-based spectral filtering. Next, we consider each node's multiscale representations as a sequence of tokens and refine the node representation with an effective MLP Mixer. Finally, we aggregate the multiscale representations of nodes through Chebyshev interpolation. Owing to the powerful representation capabilities and fast computational properties of MLP Mixer, we can quickly extract more informative node representations to improve the performance of downstream tasks. The experimental results prove our significant improvements in a variety of scenarios ranging from graph node classification to medical image segmentation.
• Abstract（参考訳）: グラフニューラルネットワークはグラフ表現、特にグラフトランスフォーマーの学習において顕著な成功を収めている。 しかし、グラフ変換器は一般的にノードをトークンとして扱い、自己アテンション計算のノード数に関して二次的な複雑さをもたらす。 グラフ MLP Mixer はコンピュータビジョンからの効率的な MLP Mixer 技術を用いてこの問題に対処する。 しかし、グラフトークンを抽出する時間を要するプロセスは、その性能を制限している。 本稿では,ChebMixerという新しいアーキテクチャを提案する。ChebMixerは高速なChebyshev多項式を用いたスペクトルフィルタを用いてトークン列を抽出する新しいグラフMLPミキサーである。 まず,高速なチェビシェフ多項式に基づくスペクトルフィルタリングにより,グラフノードのマルチスケール表現を生成する。 次に,各ノードのマルチスケール表現をトークン列とみなし,有効なMLPミキサーを用いてノード表現を洗練する。 最後に、チェビシェフ補間を通してノードのマルチスケール表現を集約する。 MLP Mixerの強力な表現能力と高速な計算特性により、より情報性の高いノード表現を素早く抽出し、下流タスクの性能を向上させることができる。 実験の結果,グラフノード分類から医用画像セグメント化まで,さまざまなシナリオにおいて大きな改善が見られた。

関連論文リスト

• Learning on Large Graphs using Intersecting Communities [13.053266613831447]
  MPNNは、各ノードの隣人からのメッセージを集約することで、入力グラフ内の各ノードの表現を反復的に更新する。 MPNNは、あまりスパースではないため、すぐに大きなグラフの禁止になるかもしれない。 本稿では,入力グラフを交差するコミュニティグラフ (ICG) として近似することを提案する。
  論文  参考訳（メタデータ） (2024-05-31T09:26:26Z)
• Masked Graph Transformer for Large-Scale Recommendation [56.37903431721977]
  本稿では, MGFormer という名前の効率的な Masked Graph Transformer を提案する。 実験の結果,単一注意層でもMGFormerの優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-05-07T06:00:47Z)
• VCR-Graphormer: A Mini-batch Graph Transformer via Virtual Connections [45.27160435758666]
  本稿では,各ノードのトークンリストをバッチにロードすることで,グラフトランスフォーマーのミニバッチトレーニングを可能にすることを示す。 さらに、このPPRトークン化は、固定フィルタとジャンプ知識を備えたグラフ畳み込みネットワークとして有効であることを示す。
  論文  参考訳（メタデータ） (2024-03-24T06:10:56Z)
• Graph Mixup with Soft Alignments [49.61520432554505]
  本研究では,画像上での使用に成功しているミキサアップによるグラフデータの増大について検討する。 ソフトアライメントによるグラフ分類のための簡易かつ効果的な混合手法であるS-Mixupを提案する。
  論文  参考訳（メタデータ） (2023-06-11T22:04:28Z)
• Seq-HGNN: Learning Sequential Node Representation on Heterogeneous Graph [57.2953563124339]
  本稿では,シーケンシャルノード表現,すなわちSeq-HGNNを用いた新しい異種グラフニューラルネットワークを提案する。 Heterogeneous Graph Benchmark (HGB) と Open Graph Benchmark (OGB) の4つの広く使われているデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T07:27:18Z)
• Multi-Granularity Graph Pooling for Video-based Person Re-Identification [14.943835935921296]
  ビデオサンプルの時間的特徴と空間的特徴を集約するためにグラフニューラルネットワーク(GNN)が導入された。 STGCNのような既存のグラフベースのモデルは、グラフ表現を得るためにノード機能でtextitmean/textitmaxプールを実行する。 ビデオ検索のための多粒度グラフ表現を学習するためのグラフプーリングネットワーク(GPNet)を提案する。
  論文  参考訳（メタデータ） (2022-09-23T13:26:05Z)
• UNeXt: MLP-based Rapid Medical Image Segmentation Network [80.16644725886968]
  UNetとその最新の拡張であるTransUNetは、ここ数年で主要な医療画像分割手法である。 画像分割のための畳み込み多層パーセプトロンネットワークUNeXtを提案する。 パラメータ数を72倍に減らし,計算複雑性を68倍に減らし,推論速度を10倍に改善し,セグメンテーション性能も向上した。
  論文  参考訳（メタデータ） (2022-03-09T18:58:22Z)
• Accurate Learning of Graph Representations with Graph Multiset Pooling [45.72542969364438]
  本稿では,その構造的依存関係に応じてノード間の相互作用をキャプチャするグラフマルチセットトランス (GMT) を提案する。 実験の結果,GMTはグラフ分類ベンチマークにおいて,最先端のグラフプーリング法を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-02-23T07:45:58Z)
• On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
  Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。 我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
  論文  参考訳（メタデータ） (2020-10-28T17:59:59Z)
• Graph Pooling with Node Proximity for Hierarchical Representation Learning [80.62181998314547]
  本稿では,ノード近接を利用したグラフプーリング手法を提案し,そのマルチホップトポロジを用いたグラフデータの階層的表現学習を改善する。 その結果,提案したグラフプーリング戦略は,公開グラフ分類ベンチマークデータセットの集合において,最先端のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-19T13:09:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。