論文の概要: Uncovering Capabilities of Model Pruning in Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2410.20356v1
• Date: Sun, 27 Oct 2024 07:09:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:16:42.588521
• Title: Uncovering Capabilities of Model Pruning in Graph Contrastive Learning
• Title（参考訳）: グラフコントラスト学習におけるモデル実行能力の解明
• Authors: Wu Junran, Chen Xueyuan, Li Shangzhe,
• Abstract要約: 我々は、拡張ビューではなく、異なるモデルバージョンを対比することで、グラフのコントラスト学習の問題を再構築する。 教師なしおよび転送学習によるグラフ分類に関する様々なベンチマークにおいて,本手法を広範囲に検証する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Graph contrastive learning has achieved great success in pre-training graph neural networks without ground-truth labels. Leading graph contrastive learning follows the classical scheme of contrastive learning, forcing model to identify the essential information from augmented views. However, general augmented views are produced via random corruption or learning, which inevitably leads to semantics alteration. Although domain knowledge guided augmentations alleviate this issue, the generated views are domain specific and undermine the generalization. In this work, motivated by the firm representation ability of sparse model from pruning, we reformulate the problem of graph contrastive learning via contrasting different model versions rather than augmented views. We first theoretically reveal the superiority of model pruning in contrast to data augmentations. In practice, we take original graph as input and dynamically generate a perturbed graph encoder to contrast with the original encoder by pruning its transformation weights. Furthermore, considering the integrity of node embedding in our method, we are capable of developing a local contrastive loss to tackle the hard negative samples that disturb the model training. We extensively validate our method on various benchmarks regarding graph classification via unsupervised and transfer learning. Compared to the state-of-the-art (SOTA) works, better performance can always be obtained by the proposed method.
• Abstract（参考訳）: グラフコントラスト学習は、グラウントトラストラベルなしでグラフニューラルネットワークを事前学習することで大きな成功を収めた。 グラフのコントラスト学習は古典的なコントラスト学習のスキームに従い、モデルに拡張ビューから重要な情報を特定するように強制する。 しかし、一般的な拡張ビューはランダムな汚職や学習によって生成され、必然的に意味論の変更につながる。 ドメイン知識のガイドによる拡張はこの問題を軽減するが、生成されたビューはドメイン固有であり、一般化を損なう。 本研究は,スパースモデルとプルーニングの厳密な表現能力に動機付けられ,拡張ビューではなく,異なるモデルバージョンを対比することで,グラフコントラスト学習の問題を再構築する。 まず、データ拡張とは対照的に、モデルプルーニングの優位性を理論的に明らかにする。 実際には、元のグラフを入力として、変換重みを刻むことで、元のエンコーダと対照的に摂動グラフエンコーダを動的に生成する。 さらに,本手法におけるノード埋め込みの完全性を考慮すると,モデルトレーニングを妨害する負の強いサンプルに対処するために,局所的なコントラスト損失を発生させることができる。 教師なしおよび転送学習によるグラフ分類に関する様々なベンチマークにおいて,本手法を広範囲に検証する。 最先端のSOTA (State-of-the-art) と比較すると,提案手法により常に優れた性能が得られる。

関連論文リスト

• GPS: Graph Contrastive Learning via Multi-scale Augmented Views from Adversarial Pooling [23.450755275125577]
  自己教師付きグラフ表現学習は、バイオインフォマティクスやソーシャルネットワークなど、様々な分野において、最近かなりの可能性を秘めている。 本稿では,これらの問題に対処するための新しいアプローチとして Graph Pooling ContraSt (GPS) を提案する。 グラフプーリングは、冗長性の除去によってグラフを適応的に粗いものにすることができることから、グラフプーリングを再考し、それを活用して、マルチスケールのポジティブビューを自動的に生成する。
  論文  参考訳（メタデータ） (2024-01-29T10:00:53Z)
• Spectral Augmentations for Graph Contrastive Learning [50.149996923976836]
  コントラスト学習は、監督の有無にかかわらず、表現を学習するための第一の方法として現れてきた。 近年の研究では、グラフ表現学習における事前学習の有用性が示されている。 本稿では,グラフの対照的な目的に対する拡張を構築する際に,候補のバンクを提供するためのグラフ変換操作を提案する。
  論文  参考訳（メタデータ） (2023-02-06T16:26:29Z)
• Coarse-to-Fine Contrastive Learning on Graphs [38.41992365090377]
  ノード表現を自己管理的に学習するために、さまざまなグラフ拡張戦略が採用されている。 我々は,異なるノード間の識別情報を確実に維持するために,自己評価パラダイムを導入する。 各種ベンチマークデータセットの実験結果から,提案アルゴリズムの有効性を検証した。
  論文  参考訳（メタデータ） (2022-12-13T08:17:20Z)
• ARIEL: Adversarial Graph Contrastive Learning [51.14695794459399]
  ARIELは、ノードレベルとグラフレベルの両方の分類タスクにおいて、現在のグラフコントラスト学習法よりも一貫して優れている。 ARIELは敵の攻撃に対してより堅牢である。
  論文  参考訳（メタデータ） (2022-08-15T01:24:42Z)
• Latent Augmentation For Better Graph Self-Supervised Learning [20.082614919182692]
  我々は、潜在的な拡張と強力なデコーダを備えた予測モデルは、対照的なモデルよりも同等またはそれ以上の表現力を達成することができると論じている。 Wiener Graph Deconvolutional Networkと呼ばれる新しいグラフデコーダは、拡張潜在表現から情報再構成を行うように設計されている。
  論文  参考訳（メタデータ） (2022-06-26T17:41:59Z)
• Similarity-aware Positive Instance Sampling for Graph Contrastive Pre-training [82.68805025636165]
  トレーニングセット内の既存グラフから直接正のグラフインスタンスを選択することを提案する。 私たちの選択は、特定のドメイン固有のペアワイズ類似度測定に基づいています。 さらに,ノードを動的にマスキングしてグラフ上に均等に分配する適応ノードレベルの事前学習手法を開発した。
  論文  参考訳（メタデータ） (2022-06-23T20:12:51Z)
• Adversarial Graph Contrastive Learning with Information Regularization [51.14695794459399]
  コントラスト学習はグラフ表現学習において有効な方法である。 グラフ上のデータ拡張は、はるかに直感的ではなく、高品質のコントラスト的なサンプルを提供するのがずっと難しい。 逆グラフ比較学習(Adversarial Graph Contrastive Learning, ARIEL)を提案する。 さまざまな実世界のデータセット上でのノード分類タスクにおいて、現在のグラフのコントラスト学習方法よりも一貫して優れています。
  論文  参考訳（メタデータ） (2022-02-14T05:54:48Z)
• Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
  離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。 本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
  論文  参考訳（メタデータ） (2022-02-07T08:04:59Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。