論文の概要: UniGAP: A Universal and Adaptive Graph Upsampling Approach to Mitigate Over-Smoothing in Node Classification Tasks

• arxiv url: http://arxiv.org/abs/2407.19420v1
• Date: Sun, 28 Jul 2024 07:44:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 18:12:26.281960
• Title: UniGAP: A Universal and Adaptive Graph Upsampling Approach to Mitigate Over-Smoothing in Node Classification Tasks
• Title（参考訳）: UniGAP:ノード分類タスクにおけるオーバースムース化を緩和するための普遍的で適応的なグラフアップサンプリングアプローチ
• Authors: Xiaotang Wang, Yun Zhu, Haizhou Shi, Yongchao Liu, Chuntao Hong,
• Abstract要約: グラフデータに対する普遍的で適応的なグラフアップサンプリング手法であるUniGAPを紹介する。 グラフアップサンプリングのための普遍的なフレームワークを提供し、ほとんどの現在のメソッドを変種として包含する。 UniGAPは、既存のGNNとシームレスかつ適応的に統合できるプラグインコンポーネントとして機能する。
• 参考スコア（独自算出の注目度）: 8.958483386270638
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the graph domain, deep graph networks based on Message Passing Neural Networks (MPNNs) or Graph Transformers often cause over-smoothing of node features, limiting their expressive capacity. Many upsampling techniques involving node and edge manipulation have been proposed to mitigate this issue. However, these methods often require extensive manual labor, resulting in suboptimal performance and lacking a universal integration strategy. In this study, we introduce UniGAP, a universal and adaptive graph upsampling technique for graph data. It provides a universal framework for graph upsampling, encompassing most current methods as variants. Moreover, UniGAP serves as a plug-in component that can be seamlessly and adaptively integrated with existing GNNs to enhance performance and mitigate the over-smoothing problem. Through extensive experiments, UniGAP demonstrates significant improvements over heuristic data augmentation methods across various datasets and metrics. We analyze how graph structure evolves with UniGAP, identifying key bottlenecks where over-smoothing occurs, and providing insights into how UniGAP addresses this issue. Lastly, we show the potential of combining UniGAP with large language models (LLMs) to further improve downstream performance. Our code is available at: https://github.com/wangxiaotang0906/UniGAP
• Abstract（参考訳）: グラフ領域では、メッセージパッシングニューラルネットワーク(MPNN)やグラフトランスフォーマーに基づくディープグラフネットワークは、しばしばノード機能の過度な平滑化を引き起こし、表現能力を制限する。 ノードとエッジの操作を含む多くのアップサンプリング技術がこの問題を軽減するために提案されている。 しかし、これらの手法は、しばしば広範囲な手作業を必要とし、その結果、最適以下の性能と普遍的な統合戦略が欠如する。 本研究では,グラフデータに対する普遍的かつ適応的なグラフアップサンプリング手法であるUniGAPを紹介する。 グラフアップサンプリングのための普遍的なフレームワークを提供し、ほとんどの現在のメソッドを変種として包含する。 さらに、UniGAPは既存のGNNとシームレスかつ適応的に統合できるプラグインコンポーネントとして機能し、パフォーマンスを高め、オーバースムーシング問題を緩和する。 広範な実験を通じて、UniGAPは、さまざまなデータセットやメトリクスにわたるヒューリスティックなデータ拡張手法よりも大幅に改善されていることを示す。 グラフ構造がUniGAPでどのように進化するかを分析し、過度なスムース化が起こる主要なボトルネックを特定し、UniGAPがこの問題にどう対処するかを洞察する。 最後に,UniGAPと大規模言語モデル(LLM)を組み合わせることで,下流の性能をさらに向上する可能性を示す。 私たちのコードは、https://github.com/wangxiaotang0906/UniGAPで利用可能です。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• TouchUp-G: Improving Feature Representation through Graph-Centric Finetuning [37.318961625795204]
  グラフニューラルネットワーク(GNN)は、多くのハイインパクトな実世界のグラフアプリケーションにおいて最先端のアプローチとなっている。 機能豊富なグラフでは、PMを直接利用して機能を生成するのが一般的である。 PMから抽出されたノード特徴がグラフに依存しず、GNNがグラフ構造とノード特徴の間の潜在的な相関を十分に活用できないため、このプラクティスは準最適である。
  論文  参考訳（メタデータ） (2023-09-25T05:44:40Z)
• Graph Ladling: Shockingly Simple Parallel GNN Training without Intermediate Communication [100.51884192970499]
  GNNは、グラフを学習するニューラルネットワークの強力なファミリーである。 GNNのスケーリングは、肥大化または拡大によって、不健康な勾配、過度なスムースメント、情報のスカッシングといった問題に悩まされる。 本稿では,現在のGNNの深層化や拡張ではなく,GNNに適したモデルスープをデータ中心の視点で表現することを提案する。
  論文  参考訳（メタデータ） (2023-06-18T03:33:46Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Multi-view Graph Convolutional Networks with Differentiable Node Selection [29.575611350389444]
  差別化可能なノード選択(MGCN-DNS)を備えた多視点グラフ畳み込みネットワーク(Multi-view Graph Convolutional Network)を提案する。 MGCN-DNSは、マルチチャネルグラフ構造データを入力として受け入れ、微分可能なニューラルネットワークを通じてより堅牢なグラフ融合を学ぶことを目的としている。 提案手法の有効性は,最先端手法と厳密な比較により検証した。
  論文  参考訳（メタデータ） (2022-12-09T21:48:36Z)
• Gradient Gating for Deep Multi-Rate Learning on Graphs [62.25886489571097]
  グラフニューラルネットワーク(GNN)の性能向上のための新しいフレームワークであるグラディエントゲーティング(G$2$)を提案する。 我々のフレームワークは,GNN層の出力を,基盤となるグラフのノード間でのメッセージパッシング情報のマルチレートフローのメカニズムでゲーティングすることに基づいている。
  論文  参考訳（メタデータ） (2022-10-02T13:19:48Z)
• Representing Long-Range Context for Graph Neural Networks with Global Attention [37.212747564546156]
  本稿では,トランスフォーマーに基づく自己認識を用いて,長距離ペア関係の学習を提案する。 提案手法はGraphTransと呼ばれ,標準のGNNモジュールに代えて置換不変なTransformerモジュールを適用している。 その結果,グラフ構造を持たない純粋学習に基づくアプローチは,グラフ上の高レベルな長距離関係を学習するのに適している可能性が示唆された。
  論文  参考訳（メタデータ） (2022-01-21T18:16:21Z)
• VQ-GNN: A Universal Framework to Scale up Graph Neural Networks using Vector Quantization [70.8567058758375]
  VQ-GNNは、Vector Quantization(VQ)を使用して、パフォーマンスを損なうことなく、畳み込みベースのGNNをスケールアップするための普遍的なフレームワークである。 我々のフレームワークは,グラフ畳み込み行列の低ランク版と組み合わせた量子化表現を用いて,GNNの「隣の爆発」問題を回避する。
  論文  参考訳（メタデータ） (2021-10-27T11:48:50Z)
• Graph Feature Gating Networks [31.20878472589719]
  本稿では,グラフ信号の雑音化問題に基づく一般グラフ特徴ゲーティングネットワーク(gfgn)を提案する。 また、GFGNの下で3つのグラフフィルターを導入し、機能寸法から異なるレベルのコントリビューションを可能にします。
  論文  参考訳（メタデータ） (2021-05-10T16:33:58Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。