論文の概要: Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations

• arxiv url: http://arxiv.org/abs/2201.01702v1
• Date: Tue, 4 Jan 2022 15:49:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-06 14:17:37.045339
• Title: Bringing Your Own View: Graph Contrastive Learning without Prefabricated Data Augmentations
• Title（参考訳）: 独自のビューを実現する - プレハブのないグラフコントラスト学習
• Authors: Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen
• Abstract要約: Self-supervisionは最近、グラフ学習の新しいフロンティアに力を入れている。 GraphCLは、グラフデータ拡張のアドホックな手作業による選択によって反映されたプレハブ付きプリファブリックを使用する。 グラフ生成器のパラメータ空間における学習可能な連続前処理へと拡張した。 我々は、情報最小化(InfoMin)と情報ボトルネック(InfoBN)の2つの原則を利用して、学習した事前情報を規則化する。
• 参考スコア（独自算出の注目度）: 94.41860307845812
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervision is recently surging at its new frontier of graph learning. It facilitates graph representations beneficial to downstream tasks; but its success could hinge on domain knowledge for handcraft or the often expensive trials and errors. Even its state-of-the-art representative, graph contrastive learning (GraphCL), is not completely free of those needs as GraphCL uses a prefabricated prior reflected by the ad-hoc manual selection of graph data augmentations. Our work aims at advancing GraphCL by answering the following questions: How to represent the space of graph augmented views? What principle can be relied upon to learn a prior in that space? And what framework can be constructed to learn the prior in tandem with contrastive learning? Accordingly, we have extended the prefabricated discrete prior in the augmentation set, to a learnable continuous prior in the parameter space of graph generators, assuming that graph priors per se, similar to the concept of image manifolds, can be learned by data generation. Furthermore, to form contrastive views without collapsing to trivial solutions due to the prior learnability, we have leveraged both principles of information minimization (InfoMin) and information bottleneck (InfoBN) to regularize the learned priors. Eventually, contrastive learning, InfoMin, and InfoBN are incorporated organically into one framework of bi-level optimization. Our principled and automated approach has proven to be competitive against the state-of-the-art graph self-supervision methods, including GraphCL, on benchmarks of small graphs; and shown even better generalizability on large-scale graphs, without resorting to human expertise or downstream validation. Our code is publicly released at https://github.com/Shen-Lab/GraphCL_Automated.
• Abstract（参考訳）: 自己監督はグラフ学習の新しいフロンティアで最近急増している。 ダウンストリームタスクにとって有益なグラフ表現を容易にするが、その成功はハンドクラフトのドメイン知識やしばしば高価な試行錯誤にかかっている。 最先端の代表であるグラフコントラスト学習(GraphCL)でさえ、グラフデータ拡張のアドホックな手動選択によって事前に反映された事前表現を使用するため、そのニーズを完全には実現していない。 当社の目標は、グラフ拡張ビューの空間をどのように表現するか、という質問に回答することで、graphclを前進させることです。 その領域で事前学習するために、どのような原則を頼りにできますか? 対照的な学習で事前学習するために、どのようなフレームワークを構築することができるのか? そこで,グラフ生成器のパラメータ空間における学習可能な連続先行値まで拡張し,画像多様体の概念に類似したグラフ先行値がデータ生成によって学習可能であることを仮定した。 さらに,先行学習可能性による自明な解に崩壊することなくコントラストビューを形成するために,情報最小化(infomin)と情報ボトルネック(infobn)の2つの原則を活用し,学習した事前を定式化する。 最終的に、対照的な学習、InfoMin、InfoBNは、双レベル最適化の1つのフレームワークに有機的に組み込まれます。 私たちの原則と自動化されたアプローチは、graphclを含む最先端のグラフ自己スーパービジョン手法と、小さなグラフのベンチマークで競合することが証明されています。 私たちのコードはhttps://github.com/Shen-Lab/GraphCL_Automated.comで公開されています。

関連論文リスト

• A Topology-aware Graph Coarsening Framework for Continual Graph Learning [8.136809136959302]
  グラフに関する継続的な学習は、グラフデータがストリーミング形式で到着するグラフニューラルネットワーク(GNN)のトレーニングに対処する。 Experience Replayのような従来の継続的学習戦略は、ストリーミンググラフに適応することができる。 本稿では, TA$mathbbCO$, a (t)opology-(a)ware graph (co)arsening and (co)ntinual learning frameworkを提案する。
  論文  参考訳（メタデータ） (2024-01-05T22:22:13Z)
• Self-Pro: A Self-Prompt and Tuning Framework for Graph Neural Networks [10.794305560114903]
  Self-Promptは、モデルとデータ自体に基づいたグラフのプロンプトフレームワークである。 非対称なグラフコントラスト学習を導入し、不均質に対処し、プリテキストと下流タスクの目的を整合させる。 11のベンチマークデータセットに対する広範な実験を行い、その優位性を実証する。
  論文  参考訳（メタデータ） (2023-10-16T12:58:04Z)
• Time-aware Graph Structure Learning via Sequence Prediction on Temporal Graphs [10.034072706245544]
  時系列グラフのシーケンス予測による時間認識型グラフ構造学習(TGSL)手法を提案する。 特に、タイムアウェアなコンテキスト埋め込みを予測し、Gumble-Top-Kを使用して、このコンテキスト埋め込みに最も近い候補エッジを選択する。 時間リンク予測ベンチマークの実験は、TGSLがTGATやGraphMixerのような一般的なTGNに対して大きな利益をもたらすことを示した。
  論文  参考訳（メタデータ） (2023-06-13T11:34:36Z)
• Scaling R-GCN Training with Graph Summarization [71.06855946732296]
  リレーショナルグラフ畳み込みネットワーク(R-GCN)のトレーニングは、グラフのサイズに合わない。 本研究では,グラフの要約手法を用いてグラフを圧縮する実験を行った。 AIFB, MUTAG, AMデータセットについて妥当な結果を得た。
  論文  参考訳（メタデータ） (2022-03-05T00:28:43Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• Graph Contrastive Learning with Augmentations [109.23158429991298]
  グラフデータの教師なし表現を学習するためのグラフコントラスト学習(GraphCL)フレームワークを提案する。 我々のフレームワークは、最先端の手法と比較して、類似またはより良い一般化可能性、転送可能性、堅牢性のグラフ表現を作成できることを示す。
  論文  参考訳（メタデータ） (2020-10-22T20:13:43Z)
• Contrastive Self-supervised Learning for Graph Classification [21.207647143672585]
  オーバーフィッティングを緩和するために,コントラスト型自己教師学習(CSSL)に基づく2つのアプローチを提案する。 最初のアプローチでは、CSSLを使用して、人間が提供したラベルに頼ることなく、広く利用可能なラベル付きグラフ上のグラフエンコーダを事前訓練する。 第2のアプローチでは、CSSLに基づく正規化器を開発し、教師付き分類タスクと教師なしCSSLタスクを同時に解決する。
  論文  参考訳（メタデータ） (2020-09-13T05:12:55Z)
• Unsupervised Graph Embedding via Adaptive Graph Learning [85.28555417981063]
  グラフオートエンコーダ(GAE)は、グラフ埋め込みのための表現学習において強力なツールである。 本稿では,2つの新しい教師なしグラフ埋め込み法,適応グラフ学習(BAGE)による教師なしグラフ埋め込み,変分適応グラフ学習(VBAGE)による教師なしグラフ埋め込みを提案する。 いくつかのデータセットに関する実験的研究により、我々の手法がノードクラスタリング、ノード分類、グラフ可視化タスクにおいて、ベースラインよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2020-03-10T02:33:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。