論文の概要: Link Prediction with Non-Contrastive Learning

• arxiv url: http://arxiv.org/abs/2211.14394v1
• Date: Fri, 25 Nov 2022 22:30:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 19:15:15.599326
• Title: Link Prediction with Non-Contrastive Learning
• Title（参考訳）: 非連続学習によるリンク予測
• Authors: William Shiao, Zhichun Guo, Tong Zhao, Evangelos E. Papalexakis, Yozen Liu, Neil Shah
• Abstract要約: グラフ自己教師型学習(SSL)は、ラベル付きデータなしで有用なノード表現を導出することを目的としている。 多くの最先端グラフSSL法は、正と負のサンプルの組み合わせを用いた対照的な手法である。 近年の文献では非コントラスト法が導入されており、正のサンプルのみを用いている。
• 参考スコア（独自算出の注目度）: 19.340519670329382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A recent focal area in the space of graph neural networks (GNNs) is graph self-supervised learning (SSL), which aims to derive useful node representations without labeled data. Notably, many state-of-the-art graph SSL methods are contrastive methods, which use a combination of positive and negative samples to learn node representations. Owing to challenges in negative sampling (slowness and model sensitivity), recent literature introduced non-contrastive methods, which instead only use positive samples. Though such methods have shown promising performance in node-level tasks, their suitability for link prediction tasks, which are concerned with predicting link existence between pairs of nodes (and have broad applicability to recommendation systems contexts) is yet unexplored. In this work, we extensively evaluate the performance of existing non-contrastive methods for link prediction in both transductive and inductive settings. While most existing non-contrastive methods perform poorly overall, we find that, surprisingly, BGRL generally performs well in transductive settings. However, it performs poorly in the more realistic inductive settings where the model has to generalize to links to/from unseen nodes. We find that non-contrastive models tend to overfit to the training graph and use this analysis to propose T-BGRL, a novel non-contrastive framework that incorporates cheap corruptions to improve the generalization ability of the model. This simple modification strongly improves inductive performance in 5/6 of our datasets, with up to a 120% improvement in Hits@50--all with comparable speed to other non-contrastive baselines and up to 14x faster than the best-performing contrastive baseline. Our work imparts interesting findings about non-contrastive learning for link prediction and paves the way for future researchers to further expand upon this area.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)の空間における最近の焦点領域は、ラベル付きデータなしで有用なノード表現を導出することを目的としたグラフ自己教師型学習(SSL)である。 特に、最先端のグラフSSLメソッドの多くは、正と負のサンプルを組み合わせてノード表現を学習するコントラスト的手法である。 負のサンプリング(スローネスとモデル感度)の課題のため、最近の文献では非競合的手法を導入し、代わりに正のサンプルのみを使用した。 このような手法はノードレベルのタスクで有望な性能を示すが、ノードのペア間のリンク存在の予測(およびレコメンデーションシステムコンテキストへの幅広い適用性)にかかわるリンク予測タスクへの適合性はまだ未解明である。 本研究では,トランスダクティブ設定とインダクティブ設定の両方において,リンク予測のための既存の非連続的手法の性能を広範囲に評価する。 既存の非推移的手法のほとんどは全体的な性能が悪いが、驚くべきことに、bgrlは一般的にトランスダクティブな設定でよく機能する。 しかし、モデルが見当たらないノードへのリンクを一般化する必要がある、より現実的なインダクティブな設定ではうまく機能しない。 我々は、非矛盾モデルがトレーニンググラフに過剰に適合する傾向にあり、この分析を用いて、モデルの一般化能力を改善するために、安価な腐敗を組み込んだ新しい非矛盾フレームワークであるt-bgrlを提案する。 この単純な修正によって、データセットの5/6でのインダクティブパフォーマンスが大幅に向上し、Hits@50の最大120%の改善が、他の非コントラストベースラインと同等の速度で、最高のパフォーマンスのコントラストベースラインよりも最大14倍高速になった。 我々の研究は、リンク予測のための非コントラスト学習に関する興味深い知見を与え、将来研究者がこの領域をさらに拡大する道を開く。

関連論文リスト

• Bootstrap Latents of Nodes and Neighbors for Graph Self-Supervised Learning [27.278097015083343]
  対照的な学習は、モデルの崩壊を防ぎ、差別的な表現を学ぶために負のサンプルを必要とする。 我々は、アンカーノードに対する隣人の支持率を予測するために、クロスアテンションモジュールを導入する。 本手法は, 負の正試料と雑音の正試料とのクラス衝突を緩和し, クラス内コンパクト度を同時に向上する。
  論文  参考訳（メタデータ） (2024-08-09T14:17:52Z)
• Breaking the Entanglement of Homophily and Heterophily in Semi-supervised Node Classification [25.831508778029097]
  統計的観点から,ノードプロファイルとトポロジの関係を定量化するAMUDを提案する。 また、AMUDのための新しい有向グラフ学習パラダイムとしてADPAを提案する。
  論文  参考訳（メタデータ） (2023-12-07T07:54:11Z)
• Efficient Link Prediction via GNN Layers Induced by Negative Sampling [92.05291395292537]
  リンク予測のためのグラフニューラルネットワーク(GNN)は、緩やかに2つの広いカテゴリに分けられる。 まず、Emphnode-wiseアーキテクチャは各ノードの個別の埋め込みをプリコンパイルし、後に単純なデコーダで結合して予測を行う。 第二に、エンフェッジワイド法は、ペアワイド関係の表現を強化するために、エッジ固有のサブグラフ埋め込みの形成に依存している。
  論文  参考訳（メタデータ） (2023-10-14T07:02:54Z)
• Evaluating Graph Neural Networks for Link Prediction: Current Pitfalls and New Benchmarking [66.83273589348758]
  リンク予測は、グラフのエッジの一部のみに基づいて、目に見えないエッジが存在するかどうかを予測しようとする。 近年,この課題にグラフニューラルネットワーク(GNN)を活用すべく,一連の手法が導入されている。 これらの新しいモデルの有効性をよりよく評価するために、新しい多様なデータセットも作成されている。
  論文  参考訳（メタデータ） (2023-06-18T01:58:59Z)
• Resisting Graph Adversarial Attack via Cooperative Homophilous Augmentation [60.50994154879244]
  最近の研究では、グラフニューラルネットワークは弱く、小さな摂動によって簡単に騙されることが示されている。 本研究では,グラフインジェクションアタック(Graph Injection Attack)という,新興だが重要な攻撃に焦点を当てる。 本稿では,グラフデータとモデルの協調的同好性増強によるGIAに対する汎用防衛フレームワークCHAGNNを提案する。
  論文  参考訳（メタデータ） (2022-11-15T11:44:31Z)
• Interpolation-based Correlation Reduction Network for Semi-Supervised Graph Learning [49.94816548023729]
  補間型相関低減ネットワーク(ICRN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 提案手法では,決定境界のマージンを大きくすることで,潜在特徴の識別能力を向上させる。 この2つの設定を組み合わせることで、豊富なラベル付きノードと稀に価値あるラベル付きノードから豊富な監視情報を抽出し、離散表現学習を行う。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Relation-aware Graph Attention Model With Adaptive Self-adversarial Training [29.240686573485718]
  本稿では,不均一なマルチリレーショナルグラフにおける関係予測タスクのエンドツーエンドソリューションについて述べる。 特にパイプライン内の2つのビルディングブロック、すなわちヘテロジニアスグラフ表現学習と負のサンプリングに対処する。 パラメータフリーな負のサンプリング手法であるadaptive self-adversarial (asa) 負のサンプリングを導入する。
  論文  参考訳（メタデータ） (2021-02-14T16:11:56Z)
• Structure Aware Negative Sampling in Knowledge Graphs [18.885368822313254]
  対照的な学習アプローチの重要な側面は、強い負のサンプルを生成する汚職分布の選択である。 我々は,ノードのkホップ近傍から負のサンプルを選択することで,リッチグラフ構造を利用した安価な負のサンプリング戦略であるStructure Aware Negative Smpling (SANS)を提案する。
  論文  参考訳（メタデータ） (2020-09-23T19:57:00Z)
• Bayesian Graph Neural Networks with Adaptive Connection Sampling [62.51689735630133]
  グラフニューラルネットワーク(GNN)における適応接続サンプリングのための統一的なフレームワークを提案する。 提案フレームワークは,深部GNNの過度なスムース化や過度に適合する傾向を緩和するだけでなく,グラフ解析タスクにおけるGNNによる不確実性の学習を可能にする。
  論文  参考訳（メタデータ） (2020-06-07T07:06:35Z)
• PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
  メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。 既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。 我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
  論文  参考訳（メタデータ） (2020-03-04T18:15:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。