論文の概要: Pseudo Contrastive Learning for Graph-based Semi-supervised Learning

• arxiv url: http://arxiv.org/abs/2302.09532v1
• Date: Sun, 19 Feb 2023 10:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-21 18:00:40.528225
• Title: Pseudo Contrastive Learning for Graph-based Semi-supervised Learning
• Title（参考訳）: グラフに基づく半教師あり学習のための擬似コントラスト学習
• Authors: Weigang Lu, Ziyu Guan, Wei Zhao, Yaming Yang, Yuanhai Lv, Baosheng Yu, Dacheng Tao
• Abstract要約: Pseudo Labelingは、グラフニューラルネットワーク(GNN)の性能向上に使用されるテクニックである。 我々はPseudo Contrastive Learning(PCL)と呼ばれるGNNのための一般的なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 79.40126736565922
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pseudo Labeling is a technique used to improve the performance of semi-supervised Graph Neural Networks (GNNs) by generating additional pseudo-labels based on confident predictions. However, the quality of generated pseudo-labels has long been a concern due to the sensitivity of the classification objective to given labels. To avoid the untrustworthy classification supervision indicating ``a node belongs to a specific class,'' we favor the fault-tolerant contrasting supervision demonstrating ``two nodes do not belong to the same class.'' Thus, the problem of generating high-quality pseudo-labels is then transformed into a relaxed version, i.e., finding reliable contrasting pairs. To achieve this, we propose a general framework for GNNs, termed Pseudo Contrastive Learning (PCL). It separates two nodes whose positive and negative pseudo-labels target the same class. To incorporate topological knowledge into learning, we devise a topologically weighted contrastive loss that spends more effort separating negative pairs with smaller topological distances. Additionally, to alleviate the heavy reliance on data augmentation, we augment nodes only by applying dropout to the encoded representations. Theoretically, we prove that PCL with the lightweight augmentation works like a representation regularizer to effectively learn separation between negative pairs. Experimentally, we employ PCL on various models, which consistently outperform their counterparts using other popular general techniques on five real-world graphs.
• Abstract（参考訳）: Pseudo Labelingは、半教師付きグラフニューラルネットワーク(GNN)の性能を向上させるために、自信のある予測に基づいて追加の擬似ラベルを生成する手法である。 しかし, 生成した擬似ラベルの品質は, ラベルに対する分類対象の感度が高いため, 長年懸念されてきた。 aノードが特定のクラスに属している'ことを示す信頼できない分類監督を避けるために、``2ノードは同じクラスに属していない'を示すフォールトトレラントなコントラスト監督を推奨する。 そこで、高品質な擬似ラベルを生成する問題は緩和されたバージョン、すなわち信頼性のあるコントラストペアに変換される。 そこで我々は,Pseudo Contrastive Learning (PCL) と呼ばれるGNNのための汎用フレームワークを提案する。 正と負の擬ラベルが同じクラスをターゲットとする2つのノードを分離する。 トポロジカルな知識を学習に取り入れるために、より小さなトポロジカルな距離を持つ負のペアを分離するのにより多くの労力を費やすトポロジカルに重み付けされた対照的な損失を考案する。 さらに,データ拡張の重大さを緩和するために,符号化表現にドロップアウトを適用するだけでノードを拡張できる。 理論的には、PCLの軽量化は、負対の分離を効果的に学習する表現正規化器のように機能することを示す。 実験では,5つの実世界のグラフにおける他の一般的な手法と一貫して比較し,様々なモデルでpclを採用している。

関連論文リスト

• NP$^2$L: Negative Pseudo Partial Labels Extraction for Graph Neural Networks [48.39834063008816]
  擬似ラベルはグラフニューラルネットワーク(GNN)で使われ、メッセージパッシングレベルでの学習を支援する。 本稿では,GNNにおいて擬似ラベルを使用する新しい手法を提案する。 本手法は,部分ラベルの重なりが無く,負のノード対関係として定義される場合,より正確であることを示す。
  論文  参考訳（メタデータ） (2023-10-02T11:13:59Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
  二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。 最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。 負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Robust Node Classification on Graphs: Jointly from Bayesian Label Transition and Topology-based Label Propagation [5.037076816350975]
  近年、GNNに基づくノード分類の性能は、トポロジ的摂動により著しく低下する可能性があるという証拠が浮上している。 ベイジアンラベル遷移とトポロジに基づくラベル伝搬を統合した新しいラベル推論モデル LInDT を提案する。 5つのグラフデータセットの実験は、GNNに基づくノード分類において、位相摂動の3つのシナリオの下でLInDTの優位性を示す。
  論文  参考訳（メタデータ） (2022-08-21T01:56:25Z)
• TAM: Topology-Aware Margin Loss for Class-Imbalanced Node Classification [33.028354930416754]
  学習目的の局所的トポロジを反映するトポロジ・アウェア・マージン(TAM)を提案する。 提案手法は,ノード分類ベンチマークデータセットのベースラインよりも常に優位性を示す。
  論文  参考訳（メタデータ） (2022-06-26T16:29:36Z)
• Label-Enhanced Graph Neural Network for Semi-supervised Node Classification [32.64730237473914]
  グラフニューラルネットワーク(GNN)のためのラベル強化学習フレームワークを提案する。 まず、各ラベルをクラス内のノードの仮想センターとしてモデル化し、次にノードとラベルの両方の表現を共同で学習する。 提案手法は,同一クラスに属するノードの表現を円滑に行うだけでなく,ラベルセマンティクスをGNNの学習プロセスに明示的にエンコードする。
  論文  参考訳（メタデータ） (2022-05-31T09:48:47Z)
• Simplifying Node Classification on Heterophilous Graphs with Compatible Label Propagation [6.071760028190454]
  本稿では,グラフに対する半教師付きノード分類において,グラフアルゴリズムのラベル伝搬と浅いニューラルネットワークを組み合わせることで,GNNに匹敵する性能が得られることを示す。 本稿では,ノードが反対クラスのノードに接続されることの多い低ホモフィリーグラフ上では,このアプローチが不十分であることを示す。 アルゴリズムはまずクラス互換行列を学習し、次にクラス適合性によって重み付けされたLPアルゴリズムを用いてラベル予測を集約する。
  論文  参考訳（メタデータ） (2022-05-19T08:34:34Z)
• Informative Pseudo-Labeling for Graph Neural Networks with Few Labels [12.83841767562179]
  グラフニューラルネットワーク(GNN)は、グラフ上の半教師付きノード分類のための最先端の結果を得た。 非常に少数のレーベルでGNNを効果的に学習する方法の課題は、まだ解明されていない。 我々は、非常に少ないラベルを持つGNNの学習を容易にするために、InfoGNNと呼ばれる新しい情報的擬似ラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-20T01:49:30Z)
• On the Equivalence of Decoupled Graph Convolution Network and Label Propagation [60.34028546202372]
  いくつかの研究は、カップリングがデカップリングよりも劣っていることを示している。 有効性にもかかわらず、疎結合GCNの作用機構はよく理解されていない。 本稿では,分離GCNの欠陥を克服する適応的学習法(PTA)を提案する。
  論文  参考訳（メタデータ） (2020-10-23T13:57:39Z)
• Unifying Graph Convolutional Neural Networks and Label Propagation [73.82013612939507]
  LPAとGCNの関係を特徴・ラベルの平滑化と特徴・ラベルの影響の2点の観点から検討した。 理論解析に基づいて,ノード分類のためのGCNとLCAを統一するエンドツーエンドモデルを提案する。 我々のモデルは、既存の特徴に基づく注目モデルよりもタスク指向のノードラベルに基づく学習注意重みと見なすこともできる。
  論文  参考訳（メタデータ） (2020-02-17T03:23:13Z)
• Graph Inference Learning for Semi-supervised Classification [50.55765399527556]
  半教師付きノード分類の性能を高めるためのグラフ推論学習フレームワークを提案する。 推論過程の学習には,トレーニングノードから検証ノードへの構造関係のメタ最適化を導入する。 4つのベンチマークデータセットの総合的な評価は、最先端の手法と比較して提案したGILの優位性を示している。
  論文  参考訳（メタデータ） (2020-01-17T02:52:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。