論文の概要: Self-Supervised Representation Learning via Latent Graph Prediction

• arxiv url: http://arxiv.org/abs/2202.08333v1
• Date: Wed, 16 Feb 2022 21:10:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-18 15:14:45.409636
• Title: Self-Supervised Representation Learning via Latent Graph Prediction
• Title（参考訳）: 潜在グラフ予測による自己教師付き表現学習
• Authors: Yaochen Xie, Zhao Xu, Shuiwang Ji
• Abstract要約: グラフニューラルネットワークの自己教師付き学習(SSL)は、ラベルのないデータを活用するための有望な方法として浮上している。 ラグラフ(LaGraph)は、遅延グラフ予測に基づく理論的に基礎付けられた予測型SSLフレームワークである。 実験結果から,LaGraphの性能向上と,グラフレベルとノードレベルの両方のタスクにおけるトレーニングサンプルサイズ削減に対する堅牢性を示す。
• 参考スコア（独自算出の注目度）: 41.64774038444827
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) of graph neural networks is emerging as a promising way of leveraging unlabeled data. Currently, most methods are based on contrastive learning adapted from the image domain, which requires view generation and a sufficient number of negative samples. In contrast, existing predictive models do not require negative sampling, but lack theoretical guidance on the design of pretext training tasks. In this work, we propose the LaGraph, a theoretically grounded predictive SSL framework based on latent graph prediction. Learning objectives of LaGraph are derived as self-supervised upper bounds to objectives for predicting unobserved latent graphs. In addition to its improved performance, LaGraph provides explanations for recent successes of predictive models that include invariance-based objectives. We provide theoretical analysis comparing LaGraph to related methods in different domains. Our experimental results demonstrate the superiority of LaGraph in performance and the robustness to decreasing of training sample size on both graph-level and node-level tasks.
• Abstract（参考訳）: グラフニューラルネットワークの自己教師あり学習(ssl)は、ラベルのないデータを活用する有望な方法として登場している。 現在、ほとんどの方法は画像領域から適応したコントラスト学習に基づいており、ビュー生成と十分な数の負のサンプルを必要とする。 対照的に、既存の予測モデルは負のサンプリングを必要としないが、プリテキストトレーニングタスクの設計に関する理論的ガイダンスは欠如している。 本研究では,遅延グラフ予測に基づく理論的根拠付き予測SSLフレームワークであるLaGraphを提案する。 ラグラフの学習対象は、観測されていない潜在グラフを予測する目的に対する自己教師あり上界として導出される。 パフォーマンスの改善に加えて、LaGraphは不変性に基づく目的を含む予測モデルの最近の成功を説明する。 ラグラフを異なる領域における関連する手法と比較する理論的解析を行う。 実験の結果,LaGraphの性能向上と,グラフレベルおよびノードレベルのタスクにおけるトレーニングサンプルサイズ削減に対する堅牢性を示す。

関連論文リスト

• Does Graph Prompt Work? A Data Operation Perspective with Theoretical Analysis [7.309233340654514]
  本稿では,データ操作の観点からグラフのプロンプトを厳密に解析する理論的枠組みを提案する。 グラフ変換演算子に近似する能力を示す形式的保証定理を提供する。 グラフプロンプトによってこれらのデータ操作の誤差の上限を導出し、この議論をグラフのバッチに拡張する。
  論文  参考訳（メタデータ） (2024-10-02T15:07:13Z)
• Robust Causal Graph Representation Learning against Confounding Effects [21.380907101361643]
  本稿では,ロバスト因果グラフ表現学習(RCGRL)を提案する。 RCGRLは、無条件のモーメント制約の下でインストゥルメンタル変数を生成するアクティブなアプローチを導入し、グラフ表現学習モデルにより、共同設立者を排除している。
  論文  参考訳（メタデータ） (2022-08-18T01:31:25Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Optimal Propagation for Graph Neural Networks [51.08426265813481]
  最適グラフ構造を学習するための二段階最適化手法を提案する。 また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
  論文  参考訳（メタデータ） (2022-05-06T03:37:00Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Learning on Random Balls is Sufficient for Estimating (Some) Graph Parameters [28.50409304490877]
  本研究では,部分観測環境におけるグラフ分類問題の理論的枠組みを開発する。 ランダムにサンプリングされた部分グラフで動作する新しいグラフ分類モデルを提案する。
  論文  参考訳（メタデータ） (2021-11-05T08:32:46Z)
• How Neural Processes Improve Graph Link Prediction [35.652234989200956]
  リンク予測のためのグラフニューラルネットワークを用いたメタラーニング手法:グラフニューラルネットワークのためのニューラルプロセス(NPGNN)を提案する。 NPGNNは、トランスダクティブな学習タスクとインダクティブな学習タスクの両方を実行し、小さなサブグラフでトレーニングした後、大きな新しいグラフのパターンに適応することができる。
  論文  参考訳（メタデータ） (2021-09-30T07:35:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。