論文の概要: Decoupled Self-supervised Learning for Non-Homophilous Graphs

• arxiv url: http://arxiv.org/abs/2206.03601v1
• Date: Tue, 7 Jun 2022 21:58:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-09 13:21:42.529685
• Title: Decoupled Self-supervised Learning for Non-Homophilous Graphs
• Title（参考訳）: 非ホモフィラスグラフに対する分離自己教師付き学習
• Authors: Teng Xiao, Zhengyu Chen, Zhimeng Guo, Zeyang Zhuang, Suhang Wang
• Abstract要約: 既存の自己教師付き学習手法では、連結ノードがしばしば同じクラスに属したり、類似した特徴を持つ場合、グラフがホモフレンドリーであると仮定する。 グラフニューラルネットワークのための非結合型自己教師型学習フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 34.859959072406895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we study the problem of conducting self-supervised learning for node representation learning on non-homophilous graphs. Existing self-supervised learning methods typically assume the graph is homophilous where linked nodes often belong to the same class or have similar features. However, such assumptions of homophily do not always hold true in real-world graphs. We address this problem by developing a decoupled self-supervised learning (DSSL) framework for graph neural networks. DSSL imitates a generative process of nodes and links from latent variable modeling of the semantic structure, which decouples different underlying semantics between different neighborhoods into the self-supervised node learning process. Our DSSL framework is agnostic to the encoders and does not need prefabricated augmentations, thus is flexible to different graphs. To effectively optimize the framework with latent variables, we derive the evidence lower-bound of the self-supervised objective and develop a scalable training algorithm with variational inference. We provide a theoretical analysis to justify that DSSL enjoys better downstream performance. Extensive experiments on various types of graph benchmarks demonstrate that our proposed framework can significantly achieve better performance compared with competitive self-supervised learning baselines.
• Abstract（参考訳）: 本稿では,非ホモフィラスグラフを用いたノード表現学習における自己教師あり学習の課題について検討する。 既存の自己教師付き学習手法では、グラフは一般に、連結ノードがしばしば同じクラスに属したり、類似した特徴を持つホモフレンドリーであると仮定する。 しかし、そのようなホモフィリーの仮定は実世界のグラフにおいて必ずしも真であるとは限らない。 グラフニューラルネットワークのための分離自己教師付き学習(DSSL)フレームワークを開発することでこの問題に対処する。 DSSLはノードの生成過程を模倣し、セマンティック構造を潜在変数モデリングからリンクし、各地区間の異なるセマンティックスを自己教師付きノード学習プロセスに分離する。 当社のDSSLフレームワークはエンコーダに非依存であり,前処理の強化を必要としないため,異なるグラフに対して柔軟性がある。 潜在変数を持つフレームワークを効果的に最適化するために,自己教師付き目標の低バウンドな証拠を導出し,変動推論を用いたスケーラブルなトレーニングアルゴリズムを開発した。 DSSLがよりダウンストリームのパフォーマンスを享受できることを正当化するための理論的分析を提供する。 グラフベンチマークの多種多様な実験により,提案するフレームワークは,競争力のある自己教師付き学習ベースラインと比較して,性能が著しく向上することを示した。

関連論文リスト

• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Graph Neural Network with Curriculum Learning for Imbalanced Node Classification [21.085314408929058]
  グラフニューラルネットワーク(GNN)は,ノード分類などのグラフベースの学習タスクの新興技術である。 本研究では,ノードラベルの不均衡に対するGNNの脆弱性を明らかにする。 本稿では,2つのモジュールからなるカリキュラム学習(GNN-CL)を備えたグラフニューラルネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-05T10:46:11Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• A Deep Latent Space Model for Graph Representation Learning [10.914558012458425]
  本稿では,従来の潜時変動に基づく生成モデルをディープラーニングフレームワークに組み込むために,有向グラフのための深潜時空間モデル(DLSM)を提案する。 提案モデルは,階層的変動型オートエンコーダアーキテクチャによって階層的に接続されるグラフ畳み込みネットワーク(GCN)エンコーダとデコーダから構成される。 実世界のデータセットにおける実験により,提案モデルがリンク予測とコミュニティ検出の両タスクにおける最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2021-06-22T12:41:19Z)
• SAIL: Self-Augmented Graph Contrastive Learning [40.76236706250037]
  本稿では,教師なしシナリオに対するグラフニューラルネットワーク(GNN)を用いたノード表現の学習について検討する。 理論的解析を導出し,グラフデータセット間の非定常なGNNの性能に関する実証実験を行う。
  論文  参考訳（メタデータ） (2020-09-02T10:27:30Z)
• Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings [53.58077686470096]
  グラフ構造とグラフ埋め込みを協調的かつ反復的に学習するための、エンドツーエンドのグラフ学習フレームワーク、すなわち、IDGL(Iterative Deep Graph Learning)を提案する。 実験の結果,提案したIDGLモデルは,最先端のベースラインを一貫して上回る,あるいは一致させることができることがわかった。
  論文  参考訳（メタデータ） (2020-06-21T19:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。