論文の概要: StructComp: Substituting Propagation with Structural Compression in Training Graph Contrastive Learning
- arxiv url: http://arxiv.org/abs/2312.04865v4
- Date: Thu, 9 May 2024 12:08:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-10 17:59:24.293563
- Title: StructComp: Substituting Propagation with Structural Compression in Training Graph Contrastive Learning
- Title（参考訳）: StructComp: グラフコントラスト学習における構造圧縮による伝達の代替
- Authors: Shengzhong Zhang, Wenjie Yang, Xinyuan Cao, Hongwei Zhang, Zengfeng Huang,
- Abstract要約: この問題に対処するために,構造圧縮(StructComp)と呼ばれるシンプルで効果的なトレーニングフレームワークを提案する。
拡散行列上の疎低ランク近似にインスパイアされたStructCompは、圧縮ノードでエンコーダを訓練する。
理論的には、元のGCL損失はStructCompによって計算された対照的な損失と近似できる。
- 参考スコア（独自算出の注目度）: 22.485016981572095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph contrastive learning (GCL) has become a powerful tool for learning graph data, but its scalability remains a significant challenge. In this work, we propose a simple yet effective training framework called Structural Compression (StructComp) to address this issue. Inspired by a sparse low-rank approximation on the diffusion matrix, StructComp trains the encoder with the compressed nodes. This allows the encoder not to perform any message passing during the training stage, and significantly reduces the number of sample pairs in the contrastive loss. We theoretically prove that the original GCL loss can be approximated with the contrastive loss computed by StructComp. Moreover, StructComp can be regarded as an additional regularization term for GCL models, resulting in a more robust encoder. Empirical studies on various datasets show that StructComp greatly reduces the time and memory consumption while improving model performance compared to the vanilla GCL models and scalable training methods.
- Abstract（参考訳）: グラフコントラスト学習(GCL)は、グラフデータを学習するための強力なツールとなっているが、そのスケーラビリティは依然として大きな課題である。
本研究では,この問題を解決するために,構造圧縮(StructComp)と呼ばれるシンプルで効果的なトレーニングフレームワークを提案する。
拡散行列上の疎低ランク近似にインスパイアされたStructCompは、圧縮ノードでエンコーダを訓練する。
これにより、エンコーダはトレーニング期間中にメッセージパッシングを行わず、対照的な損失でサンプルペアの数を大幅に削減できる。
理論的には、元のGCL損失はStructCompによって計算された対照的な損失と近似できる。
さらに、StructCompはGCLモデルのさらなる正規化用語と見なすことができ、より堅牢なエンコーダとなる。
様々なデータセットに関する実証的研究により、StructCompは、バニラGCLモデルやスケーラブルなトレーニング手法と比較して、モデルパフォーマンスを改善しながら、時間とメモリ消費を大幅に削減することが示された。
関連論文リスト
- Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。
提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。
これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文 参考訳（メタデータ） (2024-09-09T12:56:02Z) - L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。
L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。
その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
論文 参考訳（メタデータ） (2024-07-19T12:45:21Z) - PASCL: Supervised Contrastive Learning with Perturbative Augmentation
for Particle Decay Reconstruction [13.068560466022557]
高エネルギー物理学では、衝突で生じる粒子は階層木構造の形で崩壊する。
本研究では,木構造を推定し,衝突イベントを再構成するグラフに基づくディープラーニングモデルを提案する。
特に、最小共通祖先世代(LCAG)行列と呼ばれるコンパクトな行列表現を用いて、粒子崩壊木構造を符号化する。
論文 参考訳（メタデータ） (2024-02-18T10:38:34Z) - Compression of Structured Data with Autoencoders: Provable Benefit of
Nonlinearities and Depth [83.15263499262824]
勾配勾配勾配は入力のスパース構造を完全に無視する解に収束することを示す。
浅層構造にデノナイジング関数を付加することにより,スパースデータの圧縮におけるガウス性能の改善方法を示す。
CIFAR-10 や MNIST などの画像データセットに対して,本研究の成果を検証した。
論文 参考訳（メタデータ） (2024-02-07T16:32:29Z) - SE-GSL: A General and Effective Graph Structure Learning Framework
through Structural Entropy Optimization [67.28453445927825]
グラフニューラルネットワーク(GNN)は、構造的データ学習のデファクトソリューションである。
既存のグラフ構造学習(GSL)フレームワークには、堅牢性と解釈性がない。
本稿では、構造エントロピーと符号化木に抽象化されたグラフ階層を通して、一般的なGSLフレームワークSE-GSLを提案する。
論文 参考訳（メタデータ） (2023-03-17T05:20:24Z) - LightGCL: Simple Yet Effective Graph Contrastive Learning for
Recommendation [9.181689366185038]
グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。
本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:16:21Z) - Localized Contrastive Learning on Graphs [110.54606263711385]
局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。
その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
論文 参考訳（メタデータ） (2022-12-08T23:36:00Z) - Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。
本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。
局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
論文 参考訳（メタデータ） (2022-10-17T07:16:17Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - Chromatic Learning for Sparse Datasets [12.949498753914277]
スパースで高次元のデータを学習するための、高度にスケーラブルな代替手法を設計する。
我々はこれをクロマティックラーニング(CL)と呼び、特徴の共起グラフ上でグラフカラー化を行うことにより、低次元の高密度特徴表現を得る。
共起グラフの構造特性を活用することで、CLはKDDカップ2012のような5000万以上の特徴を含むスパースデータセットを1024まで圧縮することができる。
論文 参考訳（メタデータ） (2020-06-06T04:32:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。