論文の概要: COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2206.04726v1
• Date: Thu, 9 Jun 2022 18:46:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:34:07.031363
• Title: COSTA: Covariance-Preserving Feature Augmentation for Graph Contrastive Learning
• Title（参考訳）: COSTA: グラフコントラスト学習のための共分散保存機能強化
• Authors: Yifei Zhang and Hao Zhu and Zixing Song and Piotr Koniusz and Iriwn King
• Abstract要約: グラフ拡張によって得られるノードの埋め込みは、非常に偏りが強いことを示す。 入力空間におけるグラフの増大を調査する代わりに,隠れた特徴の増大を提案する。 COSTAによる機能拡張は,グラフ拡張に基づくモデルに比べて,同等/ベターな結果が得られることを示す。
• 参考スコア（独自算出の注目度）: 33.10505611093266
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph contrastive learning (GCL) improves graph representation learning, leading to SOTA on various downstream tasks. The graph augmentation step is a vital but scarcely studied step of GCL. In this paper, we show that the node embedding obtained via the graph augmentations is highly biased, somewhat limiting contrastive models from learning discriminative features for downstream tasks.Thus, instead of investigating graph augmentation in the input space, we alternatively propose to perform augmentations on the hidden features (feature augmentation). Inspired by so-called matrix sketching, we propose COSTA, a novel COvariance-preServing feaTure space Augmentation framework for GCL, which generates augmented features by maintaining a ``good sketch'' of original features. To highlight the superiority of feature augmentation with COSTA, we investigate a single-view setting (in addition to multi-view one) which conserves memory and computations. We show that the feature augmentation with COSTA achieves comparable/better results than graph augmentation based models.
• Abstract（参考訳）: グラフコントラスト学習 (gcl) はグラフ表現学習を改善し、様々な下流タスクで sota に繋がる。 グラフ拡大ステップは、GCLの重要なステップであるが、ほとんど研究されていない。 本稿では,グラフ拡張によって得られるノード埋め込みが偏りが強く,下流タスクの識別的特徴の学習から対照的なモデルを多少制限していることを示し,入力空間におけるグラフ拡張を調査せず,隠れた特徴の強調を行う方法を提案する(特徴拡張)。 いわゆる行列スケッチにインスパイアされたCOSTAは,従来の特徴の「よいスケッチ」を保ち,拡張された特徴を生成できる,GCLのための新しいCOvariance-preServing feaTure space Augmentationフレームワークである。 COSTAによる機能拡張の優位性を強調するため、メモリと計算を保存するシングルビュー設定(マルチビュー設定に加えて)について検討する。 COSTAによる機能拡張は,グラフ拡張に基づくモデルに比べて,同等/ベターな結果が得られることを示す。

関連論文リスト

• Community-Invariant Graph Contrastive Learning [21.72222875193335]
  本研究では,グラフ強化におけるグラフコミュニティの役割について検討する。 本稿では,学習可能なグラフ拡張時のグラフコミュニティ構造を維持するための,コミュニティ不変なGCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-02T14:59:58Z)
• Hybrid Augmented Automated Graph Contrastive Learning [3.785553471764994]
  本稿では,Hybrid Augmented Automated Graph Contrastive Learning (HAGCL) というフレームワークを提案する。 HAGCLは機能レベルの学習可能なビュージェネレータとエッジレベルの学習可能なビュージェネレータで構成される。 特徴とトポロジの観点から最も意味のある構造を学ぶことを保証します。
  論文  参考訳（メタデータ） (2023-03-24T03:26:20Z)
• Features Based Adaptive Augmentation for Graph Contrastive Learning [0.0]
  自己監督学習は、グラフ表現学習における高価なアノテーションの必要性を排除することを目的としている。 機能に基づく適応拡張(FebAA)アプローチを導入し、潜在的に影響力のある機能を特定し保存する。 8つのグラフ表現学習のベンチマークデータセットにおいて,GRACEとBGRLの精度を向上させることに成功した。
  論文  参考訳（メタデータ） (2022-07-05T03:41:20Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Augmentation-Free Self-Supervised Learning on Graphs [7.146027549101716]
  AFGRLと呼ばれるグラフのための拡張自由な自己教師型学習フレームワークを提案する。 具体的には,局所構造情報とグローバルセマンティクスをグラフと共有するノードを発見することによって,グラフの代替ビューを生成する。
  論文  参考訳（メタデータ） (2021-12-05T04:20:44Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。