論文の概要: Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting

• arxiv url: http://arxiv.org/abs/2409.05573v1
• Date: Mon, 9 Sep 2024 12:56:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:50:09.436630
• Title: Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting
• Title（参考訳）: グラフ構造自己コントラストを用いたMLP上のグラフ構造情報のモデル化
• Authors: Lirong Wu, Haitao Lin, Guojiang Zhao, Cheng Tan, Stan Z. Li,
• Abstract要約: 本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。 これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
• 参考スコア（独自算出の注目度）: 50.181824673039436
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent years have witnessed great success in handling graph-related tasks with Graph Neural Networks (GNNs). However, most existing GNNs are based on message passing to perform feature aggregation and transformation, where the structural information is explicitly involved in the forward propagation by coupling with node features through graph convolution at each layer. As a result, subtle feature noise or structure perturbation may cause severe error propagation, resulting in extremely poor robustness. In this paper, we rethink the roles played by graph structural information in graph data training and identify that message passing is not the only path to modeling structural information. Inspired by this, we propose a simple but effective Graph Structure Self-Contrasting (GSSC) framework that learns graph structural information without message passing. The proposed framework is based purely on Multi-Layer Perceptrons (MLPs), where the structural information is only implicitly incorporated as prior knowledge to guide the computation of supervision signals, substituting the explicit message propagation as in GNNs. Specifically, it first applies structural sparsification to remove potentially uninformative or noisy edges in the neighborhood, and then performs structural self-contrasting in the sparsified neighborhood to learn robust node representations. Finally, structural sparsification and self-contrasting are formulated as a bi-level optimization problem and solved in a unified framework. Extensive experiments have qualitatively and quantitatively demonstrated that the GSSC framework can produce truly encouraging performance with better generalization and robustness than other leading competitors.
• Abstract（参考訳）: 近年、グラフニューラルネットワーク(GNN)によるグラフ関連タスクの処理で大きな成功を収めている。 しかし、既存のほとんどのGNNはメッセージパッシングに基づいて特徴集約と変換を行い、各層におけるグラフ畳み込みによってノードの特徴と結合することで、構造情報が前方伝播に明示的に関与する。 結果として、微妙な特徴ノイズや構造摂動は、重大なエラー伝播を引き起こし、非常にロバスト性が低下する。 本稿では,グラフデータトレーニングにおける構造情報の役割を再考し,構造情報をモデル化する唯一の方法ではないことを示す。 そこで我々は,グラフ構造情報をメッセージパッシングなしで学習する簡易かつ効果的なグラフ構造自己コントラスト(GSSC)フレームワークを提案する。 提案するフレームワークは,GNNのような明示的なメッセージ伝搬を代用して,事前知識として構造情報を暗黙的に組み込んで,監視信号の計算を誘導する,MLP(Multi-Layer Perceptrons)に基づいている。 具体的には、まず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、次いで、スペーシングされた地区で構造的自己コントラストを行い、堅牢なノード表現を学習する。 最後に、構造スペーシフィケーションと自己コントラストを二段階最適化問題として定式化し、統一されたフレームワークで解決する。 大規模な実験は、GSSCフレームワークが他の主要な競合相手よりも優れた一般化とロバスト性で真に励まされる性能が得られることを質的に定量的に証明している。

関連論文リスト

• GaGSL: Global-augmented Graph Structure Learning via Graph Information Bottleneck [5.943641527857957]
  我々は,TextitGlobal-augmented Graph Structure Learning (GaGSL) という新しい手法を提案する。 GaGSLの背景にある重要な考え方は、ノード分類タスクのためのコンパクトで情報的なグラフ構造を学ぶことである。 さまざまなデータセットにわたる包括的な評価は、最先端の手法と比較して、GaGSLの優れた性能と堅牢性を示している。
  論文  参考訳（メタデータ） (2024-11-07T01:23:48Z)
• GraphEdit: Large Language Models for Graph Structure Learning [62.618818029177355]
  グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。 既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。 グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
  論文  参考訳（メタデータ） (2024-02-23T08:29:42Z)
• SE-GSL: A General and Effective Graph Structure Learning Framework through Structural Entropy Optimization [67.28453445927825]
  グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。 既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。 本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
  論文  参考訳（メタデータ） (2023-03-17T05:20:24Z)
• Self-organization Preserved Graph Structure Learning with Principle of Relevant Information [72.83485174169027]
  PRI-GSLは、自己組織化を特定し、隠された構造を明らかにするグラフ構造学習フレームワークである。 PRI-GSLは、フォン・ノイマンエントロピーと量子ジェンセン=シャノンの発散によって定量化された最も関連性が最も低い冗長な情報を含む構造を学ぶ。
  論文  参考訳（メタデータ） (2022-12-30T16:02:02Z)
• Structure-Preserving Graph Representation Learning [43.43429108503634]
  本研究では,グラフの構造情報を完全にキャプチャする構造保存グラフ表現学習(SPGRL)手法を提案する。 具体的には、元のグラフの不確かさと誤情報を減らすために、k-Nearest Neighbor法による補完的なビューとして特徴グラフを構築する。 本手法は、半教師付きノード分類タスクにおいて非常に優れた性能を示し、グラフ構造やノード特徴に対するノイズ摂動下での堅牢性に優れる。
  論文  参考訳（メタデータ） (2022-09-02T02:49:19Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Information Bottleneck [77.21967740646784]
  グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。 提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。