論文の概要: Graph Contrastive Learning Automated

• arxiv url: http://arxiv.org/abs/2106.07594v1
• Date: Thu, 10 Jun 2021 16:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:43:45.727888
• Title: Graph Contrastive Learning Automated
• Title（参考訳）: グラフコントラスト学習自動化
• Authors: Yuning You, Tianlong Chen, Yang Shen, Zhangyang Wang
• Abstract要約: グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 94.41860307845812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning on graph-structured data has drawn recent interest for learning generalizable, transferable and robust representations from unlabeled graphs. Among many, graph contrastive learning (GraphCL) has emerged with promising representation learning performance. Unfortunately, unlike its counterpart on image data, the effectiveness of GraphCL hinges on ad-hoc data augmentations, which have to be manually picked per dataset, by either rules of thumb or trial-and-errors, owing to the diverse nature of graph data. That significantly limits the more general applicability of GraphCL. Aiming to fill in this crucial gap, this paper proposes a unified bi-level optimization framework to automatically, adaptively and dynamically select data augmentations when performing GraphCL on specific graph data. The general framework, dubbed JOint Augmentation Optimization (JOAO), is instantiated as min-max optimization. The selections of augmentations made by JOAO are shown to be in general aligned with previous "best practices" observed from handcrafted tuning: yet now being automated, more flexible and versatile. Moreover, we propose a new augmentation-aware projection head mechanism, which will route output features through different projection heads corresponding to different augmentations chosen at each training step. Extensive experiments demonstrate that JOAO performs on par with or sometimes better than the state-of-the-art competitors including GraphCL, on multiple graph datasets of various scales and types, yet without resorting to any laborious dataset-specific tuning on augmentation selection. We release the code at https://github.com/Shen-Lab/GraphCL_Automated.
• Abstract（参考訳）: グラフ構造化データの自己教師あり学習は、ラベルのないグラフから一般化、転送可能、堅牢な表現を学ぶことに最近関心を寄せている。 グラフコントラスト学習(GraphCL)は有望な表現学習性能を持つ。 残念ながら、画像データと違い、GraphCLのヒンジは、グラフデータの性質が多様であるため、親指または試行錯誤のルールによってデータセット毎に手動で選択する必要があるアドホックなデータ拡張に有効である。 これにより、GraphCLのより一般的な適用性が大幅に制限される。 本稿では,この重要なギャップを埋めるために,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。 JOint Augmentation Optimization (JOAO)と呼ばれる一般的なフレームワークは、min-max Optimizationとしてインスタンス化されている。 joaoによる拡張の選択は、手作りのチューニングで見られる以前の"ベストプラクティス"と概ね一致していることが示されている。 さらに,各トレーニングステップで選択された異なる拡張に対応する異なるプロジェクションヘッドを介して出力特徴をルーティングする,拡張対応プロジェクションヘッド機構を提案する。 広範な実験によって、joaoはgraphclのような最先端の競合製品と同等か、時には優れたパフォーマンスを、さまざまなスケールとタイプの複数のグラフデータセットで実現している。 コードをhttps://github.com/Shen-Lab/GraphCL_Automatedでリリースします。

関連論文リスト

• Contrastive General Graph Matching with Adaptive Augmentation Sampling [5.3459881796368505]
  グラフマッチング(GCGM)のための新しいグラフ中心コントラストフレームワークを提案する。 GCGMは、コントラスト学習のための膨大なグラフ拡張を、副次的な情報を必要としない形で実現している。 当社のGCGMは、さまざまなデータセットにわたる最先端の自己管理手法を超越しています。
  論文  参考訳（メタデータ） (2024-06-25T01:08:03Z)
• Graph Mixture of Experts: Learning on Large-Scale Graphs with Explicit Diversity Modeling [60.0185734837814]
  グラフニューラルネットワーク(GNN)は、グラフデータからの学習に広く応用されている。 GNNの一般化能力を強化するため、グラフ強化のような技術を用いて、トレーニンググラフ構造を増強することが慣例となっている。 本研究では,GNNにMixture-of-Experts(MoE)の概念を導入する。
  論文  参考訳（メタデータ） (2023-04-06T01:09:36Z)
• Hybrid Augmented Automated Graph Contrastive Learning [3.785553471764994]
  本稿では,Hybrid Augmented Automated Graph Contrastive Learning (HAGCL) というフレームワークを提案する。 HAGCLは機能レベルの学習可能なビュージェネレータとエッジレベルの学習可能なビュージェネレータで構成される。 特徴とトポロジの観点から最も意味のある構造を学ぶことを保証します。
  論文  参考訳（メタデータ） (2023-03-24T03:26:20Z)
• Graph Contrastive Learning with Personalized Augmentation [17.714437631216516]
  グラフの教師なし表現を学習するための有効なツールとして,グラフコントラスト学習(GCL)が登場した。 我々は、textitPersonalized textitAugmentation (GPA) を用いたtextitGraph コントラスト学習と呼ばれる原則付きフレームワークを提案する。 GPAは、学習可能な拡張セレクタを介して、そのトポロジとノード属性に基づいて、各グラフの調整された拡張戦略を推論する。
  論文  参考訳（メタデータ） (2022-09-14T11:37:48Z)
• GraphCoCo: Graph Complementary Contrastive Learning [65.89743197355722]
  グラフコントラスト学習(GCL)は、手作業によるアノテーションの監督なしに、グラフ表現学習(GRL)において有望な性能を示した。 本稿では,この課題に対処するため,グラフココというグラフ補完型コントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-24T02:58:36Z)
• Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations [94.41860307845812]
  Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
  論文  参考訳（メタデータ） (2022-01-04T15:49:18Z)
• Augmentation-Free Self-Supervised Learning on Graphs [7.146027549101716]
  AFGRLと呼ばれるグラフのための拡張自由な自己教師型学習フレームワークを提案する。 具体的には,局所構造情報とグローバルセマンティクスをグラフと共有するノードを発見することによって,グラフの代替ビューを生成する。
  論文  参考訳（メタデータ） (2021-12-05T04:20:44Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Robust Optimization as Data Augmentation for Large-scale Graphs [117.2376815614148]
  学習中に勾配に基づく逆方向摂動を伴うノード特徴を反復的に拡張するFLAG(Free Large-scale Adversarial Augmentation on Graphs)を提案する。 FLAGはグラフデータに対する汎用的なアプローチであり、ノード分類、リンク予測、グラフ分類タスクで普遍的に機能する。
  論文  参考訳（メタデータ） (2020-10-19T21:51:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。