論文の概要: Rethinking and Simplifying Bootstrapped Graph Latents

• arxiv url: http://arxiv.org/abs/2312.02619v1
• Date: Tue, 5 Dec 2023 09:49:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 16:03:40.037255
• Title: Rethinking and Simplifying Bootstrapped Graph Latents
• Title（参考訳）: ブートストラップグラフラテントの再考と簡略化
• Authors: Wangbin Sun, Jintang Li, Liang Chen, Bingzhe Wu, Yatao Bian, Zibin Zheng
• Abstract要約: グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師型ラーニングにおいて代表的なパラダイムとして登場した。 SGCLは2つの繰り返しの出力を正のペアとして利用するシンプルで効果的なGCLフレームワークである。 我々は,SGCLがより少ないパラメータ,少ない時間と空間コスト,およびかなりの収束速度で競合性能を達成可能であることを示す。
• 参考スコア（独自算出の注目度）: 48.76934123429186
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph contrastive learning (GCL) has emerged as a representative paradigm in graph self-supervised learning, where negative samples are commonly regarded as the key to preventing model collapse and producing distinguishable representations. Recent studies have shown that GCL without negative samples can achieve state-of-the-art performance as well as scalability improvement, with bootstrapped graph latent (BGRL) as a prominent step forward. However, BGRL relies on a complex architecture to maintain the ability to scatter representations, and the underlying mechanisms enabling the success remain largely unexplored. In this paper, we introduce an instance-level decorrelation perspective to tackle the aforementioned issue and leverage it as a springboard to reveal the potential unnecessary model complexity within BGRL. Based on our findings, we present SGCL, a simple yet effective GCL framework that utilizes the outputs from two consecutive iterations as positive pairs, eliminating the negative samples. SGCL only requires a single graph augmentation and a single graph encoder without additional parameters. Extensive experiments conducted on various graph benchmarks demonstrate that SGCL can achieve competitive performance with fewer parameters, lower time and space costs, and significant convergence speedup.
• Abstract（参考訳）: グラフ・コントラッシブ・ラーニング(GCL)はグラフ自己教師学習において代表的パラダイムとして現れており、負のサンプルはモデル崩壊を防ぎ、区別可能な表現を生み出す鍵として一般的に見なされている。 近年の研究では、負のサンプルを持たないgclが最先端のパフォーマンスとスケーラビリティの向上を達成し、bgrl(bootstrapped graph latent)が目立った進歩を遂げている。 しかしながら、BGRLは表現を散布する能力を維持するために複雑なアーキテクチャに依存しており、その成功を可能にするメカニズムは未解明のままである。 本稿では,上記の問題に取り組み,springboardとして活用し,bgrl内の不要なモデルの複雑さを明らかにするために,インスタンスレベルの非相関の視点を導入する。 そこで本研究では,2つの繰り返しの出力を正のペアとして利用し,負のサンプルを除去する簡易かつ効果的なGCLフレームワークであるSGCLを提案する。 SGCLは1つのグラフ拡張と1つのグラフエンコーダしか必要としない。 様々なグラフベンチマークで行った広範囲な実験により、sgclは少ないパラメータ、低い時間と空間コスト、大幅な収束速度で競合性能を達成できることが示されている。

関連論文リスト

• SpeGCL: Self-supervised Graph Spectrum Contrastive Learning without Positive Samples [44.315865532262876]
  グラフコントラスト学習(GCL)は、入力データのノイズやゆらぎの管理に優れており、様々な分野で人気がある。 既存のGCL法は主にノードの特徴表現の時間領域(低周波情報)に焦点を当てている。 正のサンプルを持たない新しいスペクトルGCLフレームワークSpeGCLを提案する。
  論文  参考訳（メタデータ） (2024-10-14T10:39:38Z)
• HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
  HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。 我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-06-16T04:06:52Z)
• LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation [9.181689366185038]
  グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。 本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
  論文  参考訳（メタデータ） (2023-02-16T10:16:21Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Single-Pass Contrastive Learning Can Work for Both Homophilic and Heterophilic Graph [60.28340453547902]
  グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。 既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。 我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。 経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
  論文  参考訳（メタデータ） (2022-11-20T07:18:56Z)
• Uncovering the Structural Fairness in Graph Contrastive Learning [87.65091052291544]
  グラフコントラスト学習(GCL)は、ノード表現を学習するための有望な自己教師型アプローチとして登場した。 GCL法で得られた表現は,GCN法で学習した表現よりも既に公平であることを示す。 我々は、低次ノードと高次ノードに異なる戦略を適用し、GRAph contrastive learning for Degree bias (GRADE)と呼ばれるグラフ拡張手法を考案した。
  論文  参考訳（メタデータ） (2022-10-06T15:58:25Z)
• Augmentation-Free Graph Contrastive Learning [16.471928573824854]
  グラフコントラッシブ・ラーニング(GCL)は、グラフ構造化データに対する最も代表的で一般的な自己教師付き学習手法である。 既存のGCLメソッドは、様々な拡張ビューで不変な表現を学習するための拡張スキームに依存している。 AF-GCLは,グラフニューラルネットワークによって集約された特徴を利用して,拡張ではなく自己超越信号を構築する。
  論文  参考訳（メタデータ） (2022-04-11T05:37:03Z)
• An Empirical Study of Graph Contrastive Learning [17.246488437677616]
  グラフコントラスト学習は、人間のアノテーションなしでグラフ表現を学習するための新しいパラダイムを確立する。 一般的なGCLパラダイムでは,拡張関数,コントラストモード,コントラスト目的,負のマイニング技術など,いくつかの重要な設計上の考慮事項を識別する。 今後の研究の促進とGCLアルゴリズムの実装を容易にするため,モジュール化されたCLコンポーネント,標準化された評価,実験管理を特徴とする,使い易いライブラリPyGCLを開発した。
  論文  参考訳（メタデータ） (2021-09-02T17:43:45Z)
• Diversified Multiscale Graph Learning with Graph Self-Correction [55.43696999424127]
  2つのコア成分を組み込んだ多次元グラフ学習モデルを提案します。 情報埋め込みグラフを生成するグラフ自己補正(GSC)機構、および入力グラフの包括的な特性評価を達成するために多様性ブースト正規化(DBR)。 一般的なグラフ分類ベンチマークの実験は、提案されたGSCメカニズムが最先端のグラフプーリング方法よりも大幅に改善されることを示しています。
  論文  参考訳（メタデータ） (2021-03-17T16:22:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。