論文の概要: Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction

• arxiv url: http://arxiv.org/abs/2111.00064v1
• Date: Fri, 29 Oct 2021 19:55:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 02:53:00.593046
• Title: Node Feature Extraction by Self-Supervised Multi-scale Neighborhood Prediction
• Title（参考訳）: 自己監督型マルチスケール近傍予測によるノード特徴抽出
• Authors: Eli Chien, Wei-Cheng Chang, Cho-Jui Hsieh, Hsiang-Fu Yu, Jiong Zhang, Olgica Milenkovic, Inderjit S Dhillon
• Abstract要約: 我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。 GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。 我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
• 参考スコア（独自算出の注目度）: 123.20238648121445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning on graphs has attracted significant attention in the learning community due to numerous real-world applications. In particular, graph neural networks (GNNs), which take numerical node features and graph structure as inputs, have been shown to achieve state-of-the-art performance on various graph-related learning tasks. Recent works exploring the correlation between numerical node features and graph structure via self-supervised learning have paved the way for further performance improvements of GNNs. However, methods used for extracting numerical node features from raw data are still graph-agnostic within standard GNN pipelines. This practice is sub-optimal as it prevents one from fully utilizing potential correlations between graph topology and node attributes. To mitigate this issue, we propose a new self-supervised learning framework, Graph Information Aided Node feature exTraction (GIANT). GIANT makes use of the eXtreme Multi-label Classification (XMC) formalism, which is crucial for fine-tuning the language model based on graph information, and scales to large datasets. We also provide a theoretical analysis that justifies the use of XMC over link prediction and motivates integrating XR-Transformers, a powerful method for solving XMC problems, into the GIANT framework. We demonstrate the superior performance of GIANT over the standard GNN pipeline on Open Graph Benchmark datasets: For example, we improve the accuracy of the top-ranked method GAMLP from $68.25\%$ to $69.67\%$, SGC from $63.29\%$ to $66.10\%$ and MLP from $47.24\%$ to $61.10\%$ on the ogbn-papers100M dataset by leveraging GIANT.
• Abstract（参考訳）: グラフでの学習は多くの現実世界のアプリケーションのために、学習コミュニティで大きな注目を集めている。 特に、数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(gnns)は、さまざまなグラフ関連学習タスクにおいて最先端のパフォーマンスを実現することが示されている。 近年,GNNの性能向上のために,自己教師付き学習による数値ノード特徴とグラフ構造との相関関係について検討している。 しかし、生データから数値ノードの特徴を抽出する手法は、標準GNNパイプラインではグラフに依存しない。 このプラクティスは、グラフトポロジとノード属性の間の潜在的な相関を完全に活用できないため、準最適である。 この問題を軽減するために,新たな自己教師型学習フレームワークであるGraph Information Aided Node feature exTraction (GIANT)を提案する。 giantはextreme multi-label classification (xmc)形式を採用しており、グラフ情報に基づく言語モデルの微調整に不可欠であり、大規模なデータセットにスケールする。 また,リンク予測におけるXMCの使用を正当化する理論解析を行い,XMC問題を解決する強力な方法であるXR変換器をGIANTフレームワークに統合する動機付けを行う。 Open Graph Benchmarkデータセット上で、GIANTの標準的なGNNパイプラインよりも優れたパフォーマンスを示す。 例えば、最上位のメソッドであるGAMLPの精度を68.25\%$から69.67\%$に改善し、SGCを63.29\%$から6.10\%$に改善し、MLPを47.24\%から6.10\%に改善します。

関連論文リスト

• Spectral Greedy Coresets for Graph Neural Networks [61.24300262316091]
  ノード分類タスクにおける大規模グラフの利用は、グラフニューラルネットワーク(GNN)の現実的な応用を妨げる 本稿では,GNNのグラフコアセットについて検討し,スペクトル埋め込みに基づくエゴグラフの選択により相互依存の問題を回避する。 我々のスペクトルグレディグラフコアセット(SGGC)は、数百万のノードを持つグラフにスケールし、モデル事前学習の必要性を排除し、低ホモフィリーグラフに適用する。
  論文  参考訳（メタデータ） (2024-05-27T17:52:12Z)
• GLISP: A Scalable GNN Learning System by Exploiting Inherent Structural Properties of Graphs [5.410321469222541]
  産業規模グラフのためのサンプリングベースGNN学習システムであるGLISPを提案する。 GLISPは、グラフパーティショナ、グラフサンプリングサービス、グラフ推論エンジンの3つのコアコンポーネントで構成されている。 実験の結果、GLISPはトレーニングと推論タスクのために既存のGNNシステムよりも最大6.53タイム、70.77タイムのスピードアップを達成した。
  論文  参考訳（メタデータ） (2024-01-06T02:59:24Z)
• GRAN is superior to GraphRNN: node orderings, kernel- and graph embeddings-based metrics for graph generators [0.6816499294108261]
  本研究では,グラフ不変量の分布に関するカーネルベースのメトリクスと,グラフ埋め込み空間における多様体ベースのメトリクスとカーネルベースのメトリクスについて検討する。 グラフの2つのよく知られた生成モデルであるGraphRNNとGRANを比較し、ノード順序の影響を明らかにする。
  論文  参考訳（メタデータ） (2023-07-13T12:07:39Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• Taxonomy of Benchmarks in Graph Representation Learning [14.358071994798964]
  グラフニューラルネットワーク(GNN)は、その固有の幾何学を考慮し、ニューラルネットワークの成功をグラフ構造化データに拡張する。 現在、グラフ表現学習ベンチマークによって、与えられたモデルのどの側面が調査されているかはよく分かっていない。 本稿では,グラフの摂動によってGNNの性能がどれだけ変化するかに基づいて,$textitsensitivity profile$に従ってベンチマークデータセットを分類する手法を開発した。
  論文  参考訳（メタデータ） (2022-06-15T18:01:10Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Scalable Graph Neural Networks for Heterogeneous Graphs [12.44278942365518]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データを学習するためのパラメトリックモデルの一般的なクラスである。 最近の研究は、GNNが主に機能をスムースにするためにグラフを使用しており、ベンチマークタスクで競合する結果を示していると主張している。 本研究では、これらの結果が異種グラフに拡張可能かどうかを問うとともに、異なるエンティティ間の複数のタイプの関係を符号化する。
  論文  参考訳（メタデータ） (2020-11-19T06:03:35Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Multi-grained Semantics-aware Graph Neural Networks [13.720544777078642]
  グラフニューラルネットワーク(GNN)は、グラフの表現学習において強力な技術である。 本研究では,ノードとグラフ表現を対話的に学習する統合モデルAdamGNNを提案する。 14の実世界のグラフデータセットに対する実験により、AdamGNNはノードとグラフの両方のタスクにおいて17の競合するモデルを大幅に上回っていることが示された。
  論文  参考訳（メタデータ） (2020-10-01T07:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。