論文の概要: Analyzing Data-Centric Properties for Contrastive Learning on Graphs

• arxiv url: http://arxiv.org/abs/2208.02810v1
• Date: Thu, 4 Aug 2022 17:58:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-05 12:50:40.275266
• Title: Analyzing Data-Centric Properties for Contrastive Learning on Graphs
• Title（参考訳）: グラフ上のコントラスト学習のためのデータ中心特性の解析
• Authors: Puja Trivedi, Ekdeep Singh Lubana, Mark Heimann, Danai Koutra, Jayaraman J. Thiagarajan
• Abstract要約: コントラスト学習(CL)のようなグラフSSLメソッドはどのように機能するかを検討する。 我々の研究は、実験的にも理論的にも、データ中心のプロパティがグラフSSLの強化戦略や学習パラダイムに与える影響を厳格に文脈化しています。
• 参考スコア（独自算出の注目度）: 32.69353929886551
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent analyses of self-supervised learning (SSL) find the following data-centric properties to be critical for learning good representations: invariance to task-irrelevant semantics, separability of classes in some latent space, and recoverability of labels from augmented samples. However, given their discrete, non-Euclidean nature, graph datasets and graph SSL methods are unlikely to satisfy these properties. This raises the question: how do graph SSL methods, such as contrastive learning (CL), work well? To systematically probe this question, we perform a generalization analysis for CL when using generic graph augmentations (GGAs), with a focus on data-centric properties. Our analysis yields formal insights into the limitations of GGAs and the necessity of task-relevant augmentations. As we empirically show, GGAs do not induce task-relevant invariances on common benchmark datasets, leading to only marginal gains over naive, untrained baselines. Our theory motivates a synthetic data generation process that enables control over task-relevant information and boasts pre-defined optimal augmentations. This flexible benchmark helps us identify yet unrecognized limitations in advanced augmentation techniques (e.g., automated methods). Overall, our work rigorously contextualizes, both empirically and theoretically, the effects of data-centric properties on augmentation strategies and learning paradigms for graph SSL.
• Abstract（参考訳）: 近年の自己教師付き学習(SSL)の分析では、タスク非関連セマンティクスへの不変性、潜在空間におけるクラスの分離性、拡張サンプルからのラベルの復元性など、優れた表現を学ぶ上で重要なデータ中心特性が示されている。 しかし、その離散的で非ユークリッド的性質を考えると、グラフデータセットとグラフsslメソッドはこれらの特性を満たさない。 対照的学習(CL)のようなグラフSSLメソッドは、どのように機能するのか? この問題を体系的に研究するために,汎用グラフ拡張(GGA)を用いたCLの一般化解析を行い,データ中心の性質に着目した。 我々の分析は、GGAの限界とタスク関連強化の必要性に関する公式な洞察を得る。 実証的に示すように、GGAは一般的なベンチマークデータセットでタスク関連不変性を誘導しないため、単純でトレーニングされていないベースラインよりも限界的な利得しか得られない。 本理論は,タスク関連情報を制御し,事前定義された最適な拡張性を有する合成データ生成プロセスのモチベーションである。 この柔軟なベンチマークは、高度な拡張技術(例えば、自動メソッド)における未認識の制限を特定するのに役立ちます。 全体として、私たちの研究は、経験的および理論的に、データ中心の特性がグラフsslの強化戦略と学習パラダイムに与える影響を、厳格にコンテキスト化する。

関連論文リスト

• PyG-SSL: A Graph Self-Supervised Learning Toolkit [71.22547762704602]
  Graph Self-Supervised Learning (SSL)は近年,重要な研究領域として現れている。 これらのグラフSSLメソッドの顕著な成果にもかかわらず、その実装は初心者にとって大きな課題となっている。 PyG-SSLと呼ばれるグラフSSLツールキットは、PyTorch上に構築されており、さまざまなディープラーニングや科学計算バックエンドと互換性がある。
  論文  参考訳（メタデータ） (2024-12-30T18:32:05Z)
• Towards Graph Contrastive Learning: A Survey and Beyond [23.109430624817637]
  グラフ上の自己教師型学習(SSL)が注目され、大きな進歩を遂げている。 SSLは、未ラベルのグラフデータから情報表現を生成する機械学習モデルを可能にする。 グラフコントラスト学習(GCL)は既存の文献では十分に研究されていない。
  論文  参考訳（メタデータ） (2024-05-20T08:19:10Z)
• ExGRG: Explicitly-Generated Relation Graph for Self-Supervised Representation Learning [4.105236597768038]
  自己教師型学習は、ディープラーニングモデルの事前学習において、強力なテクニックとして登場した。 本稿では,合成関係グラフを明示的に生成する新しい非競合SSL手法を提案する。
  論文  参考訳（メタデータ） (2024-02-09T19:16:04Z)
• LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation [9.181689366185038]
  グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。 本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:16:21Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning [30.23894624193583]
  非ユークリッドグラフデータに基づくグラフニューラルネットワーク(GNN)トレーニングは、しばしば比較的高い時間コストに直面する。 グラフ決定(Graph Decantation, GraphDec)と呼ばれる統一されたデータモデル動的疎結合フレームワークを開発し, 大規模なクラス不均衡グラフデータのトレーニングによる課題に対処する。
  論文  参考訳（メタデータ） (2022-10-01T01:47:00Z)
• Graph Structure Learning with Variational Information Bottleneck [70.62851953251253]
  本稿では,新しい変分情報ボトルネックガイド付きグラフ構造学習フレームワーク,すなわちVIB-GSLを提案する。 VIB-GSLは情報的かつ圧縮的なグラフ構造を学習し、特定の下流タスクに対して実行可能な情報を蒸留する。
  論文  参考訳（メタデータ） (2021-12-16T14:22:13Z)
• Self-supervised on Graphs: Contrastive, Generative,or Predictive [25.679620842010422]
  SSL(Self-supervised Learning)は、よく設計されたプリテキストタスクを通じて有益な知識を抽出するための新しいパラダイムとして登場しています。 既存のグラフSSLメソッドは、コントラスト、生成、予測の3つのカテゴリに分けられる。 また、一般的なデータセット、評価メトリクス、下流タスク、さまざまなアルゴリズムのオープンソース実装をまとめています。
  論文  参考訳（メタデータ） (2021-05-16T03:30:03Z)
• Graph-based Semi-supervised Learning: A Comprehensive Review [51.26862262550445]
  半教師付き学習(ssl)はラベル付きデータとラベルなしデータの両方を利用する能力があるため、実際非常に価値があります。 重要なSSLメソッドのクラスは、グラフベースの半教師付き学習(GSSL)メソッドに対応するグラフとしてデータを自然に表現することです。 GSSLメソッドは、構造のユニークさ、アプリケーションの普遍性、大規模データへのスケーラビリティのために、さまざまなドメインでその利点を実証しています。
  論文  参考訳（メタデータ） (2021-02-26T05:11:09Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)
• Self-supervised Learning on Graphs: Deep Insights and New Direction [66.78374374440467]
  自己教師付き学習(SSL)は、ラベルのないデータにドメイン固有のプレテキストタスクを作成することを目的としている。 グラフニューラルネットワーク(GNN)の形でのグラフ領域へのディープラーニングの一般化への関心が高まっている。
  論文  参考訳（メタデータ） (2020-06-17T20:30:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。