論文の概要: Augmentations in Graph Contrastive Learning: Current Methodological Flaws & Towards Better Practices

• arxiv url: http://arxiv.org/abs/2111.03220v1
• Date: Fri, 5 Nov 2021 02:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-08 15:48:45.140247
• Title: Augmentations in Graph Contrastive Learning: Current Methodological Flaws & Towards Better Practices
• Title（参考訳）: グラフコントラスト学習の強化--方法論的欠陥とより良い実践に向けて
• Authors: Puja Trivedi, Ekdeep Singh Lubana, Yujun Yan, Yaoqing Yang, Danai Koutra
• Abstract要約: グラフ分類は、バイオインフォマティクス、社会科学、自動偽ニュース検出、Webドキュメント分類などに適用できる。 近年、コントラスト学習(CL)により、教師なしコンピュータビジョンモデルと教師なしコンピュータビジョンモデルとの競争が活発化している。 i) 既存のグラフCLフレームワークが、弱い拡張や限られたデータにもかかわらず、なぜうまく機能するのか、そして (ii) 視覚的なCL原則に固執することで、グラフ分類タスクのパフォーマンスが向上するかどうかを判断する。
• 参考スコア（独自算出の注目度）: 20.95255742208036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph classification has applications in bioinformatics, social sciences, automated fake news detection, web document classification, and more. In many practical scenarios, including web-scale applications, where labels are scarce or hard to obtain, unsupervised learning is a natural paradigm but it trades off performance. Recently, contrastive learning (CL) has enabled unsupervised computer vision models to compete well against supervised ones. Theoretical and empirical works analyzing visual CL frameworks find that leveraging large datasets and domain aware augmentations is essential for framework success. Interestingly, graph CL frameworks often report high performance while using orders of magnitude smaller data, and employing domain-agnostic augmentations (e.g., node or edge dropping, feature perturbations) that can corrupt the graphs' underlying properties. Motivated by these discrepancies, we seek to determine: (i) why existing graph CL frameworks perform well despite weak augmentations and limited data; and (ii) whether adhering to visual CL principles can improve performance on graph classification tasks. Through extensive analysis, we identify flawed practices in graph data augmentation and evaluation protocols that are commonly used in the graph CL literature, and propose improved practices and sanity checks for future research and applications. We show that on small benchmark datasets, the inductive bias of graph neural networks can significantly compensate for the limitations of existing frameworks. In case studies with relatively larger graph classification tasks, we find that commonly used domain-agnostic augmentations perform poorly, while adhering to principles in visual CL can significantly improve performance. For example, in graph-based document classification, which can be used for better web search, we show task-relevant augmentations improve accuracy by 20%.
• Abstract（参考訳）: グラフ分類は、バイオインフォマティクス、社会科学、自動フェイクニュース検出、webドキュメント分類などに応用されている。 ラベルの不足や入手が難しいWebスケールアプリケーションなど、多くの実践シナリオにおいて、教師なし学習は自然なパラダイムですが、パフォーマンスのトレードオフがあります。 近年、コントラスト学習(CL)により、教師なしコンピュータビジョンモデルと教師なしコンピュータビジョンモデルとの競争が活発化している。 ビジュアルCLフレームワークを分析する理論的かつ実証的な研究は、フレームワークの成功には大規模なデータセットとドメイン認識の強化を活用することが不可欠である。 興味深いことに、グラフCLフレームワークは、桁違いの小さなデータを使用しながら高いパフォーマンスを報告し、グラフの基本特性を損なう可能性のあるドメインに依存しない拡張(ノードやエッジのドロップ、フィーチャーの摂動など)を採用する。 これらの不一致に動機づけられ 決定を迫られます i) 弱い拡張と限られたデータにもかかわらず、既存のグラフCLフレームワークがよく機能する理由 (ii)ビジュアルcl原則に固執することでグラフ分類タスクのパフォーマンスを向上させることができるか。 広範な分析を通じて、グラフデータ拡張および評価プロトコルにおける欠陥のあるプラクティスを同定し、将来の研究と応用のために改善されたプラクティスと健全性チェックを提案する。 小さなベンチマークデータセットでは、グラフニューラルネットワークの帰納的バイアスが既存のフレームワークの制限を大幅に補うことができる。 グラフ分類タスクが比較的大きい場合、一般的に使用されるドメインに依存しない拡張は、視覚的CLの原則に従うことで、性能が著しく向上する。 例えば、より優れたWeb検索に使用できるグラフベースの文書分類では、タスク関連拡張により精度が20%向上することを示す。

関連論文リスト

• Let Invariant Rationale Discovery Inspire Graph Contrastive Learning [98.10268114789775]
  ハイパフォーマンスな拡張は、インスタンス識別に関するアンカーグラフの健全な意味を保存すべきである。 新たなフレームワーク Rationale-aware Graph Contrastive Learning (RGCL) を提案する。 RGCLは有理数生成器を使用して、グラフのインスタンス識別に関する健全な特徴を論理として明らかにし、対照的な学習のための有理数認識ビューを生成する。
  論文  参考訳（メタデータ） (2022-06-16T01:28:40Z)
• Towards Unsupervised Deep Graph Structure Learning [67.58720734177325]
  本稿では,学習したグラフトポロジを外部ガイダンスなしでデータ自身で最適化する,教師なしグラフ構造学習パラダイムを提案する。 具体的には、元のデータから"アンカーグラフ"として学習目標を生成し、対照的な損失を用いてアンカーグラフと学習グラフとの一致を最大化する。
  論文  参考訳（メタデータ） (2022-01-17T11:57:29Z)
• Graph Contrastive Learning Automated [94.41860307845812]
  グラフコントラスト学習(GraphCL)は、有望な表現学習性能とともに登場した。 GraphCLのヒンジがアドホックなデータ拡張に与える影響は、データセット毎に手動で選択する必要がある。 本稿では,グラフデータ上でGraphCLを実行する際に,データ拡張を自動的に,適応的に動的に選択する統合バイレベル最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-10T16:35:27Z)
• Structure-Enhanced Meta-Learning For Few-Shot Graph Classification [53.54066611743269]
  本研究では,数点グラフ分類の解法のためのメトリベースメタラーニングの可能性を検討する。 SMFGINというGINの実装は、ChemblとTRIANGLESの2つのデータセットでテストされている。
  論文  参考訳（メタデータ） (2021-03-05T09:03:03Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Graph Contrastive Learning with Adaptive Augmentation [23.37786673825192]
  本稿では,適応的拡張を用いた新しいグラフコントラスト表現学習法を提案する。 具体的には,ノードの集中度に基づく拡張スキームを設計し,重要な結合構造を明らかにする。 提案手法は,既存の最先端のベースラインを一貫して上回り,教師付きベースラインを超えている。
  論文  参考訳（メタデータ） (2020-10-27T15:12:21Z)
• Active Learning on Attributed Graphs via Graph Cognizant Logistic Regression and Preemptive Query Generation [37.742218733235084]
  本稿では,属性グラフにおけるノード分類処理のための新しいグラフベース能動学習アルゴリズムを提案する。 提案アルゴリズムは,線形化グラフ畳み込みニューラルネットワーク(GCN)と等価なグラフ認識ロジスティック回帰を用いて,予測フェーズの誤差低減を最大化する。 5つの公開ベンチマークデータセットで実験を行い、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-07-09T18:00:53Z)
• Quantifying Challenges in the Application of Graph Representation Learning [0.0]
  私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。 実世界のグラフ特性に関する表現力を評価する。 GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-18T03:19:43Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• Data Augmentation for Graph Neural Networks [32.24311481878144]
  半教師付きノード分類を改善する文脈において,グラフニューラルネットワーク(GNN)のグラフデータ拡張について検討した。 本研究は,階層内エッジの促進とグラフ構造におけるクラス間エッジの復号化のために,クラス-ホモフィル構造を効果的に符号化できることを示唆する。 我々の主な貢献はGAugグラフデータ拡張フレームワークを導入し、これらの洞察を活用してエッジ予測によるGNNベースのノード分類の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-11T21:17:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。