論文の概要: Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning

• arxiv url: http://arxiv.org/abs/2502.01684v1
• Date: Sun, 02 Feb 2025 07:42:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:15.338542
• Title: Leveraging Joint Predictive Embedding and Bayesian Inference in Graph Self Supervised Learning
• Title（参考訳）: グラフ自己監督学習における共同予測埋め込みとベイズ推論の活用
• Authors: Srinitish Srinivasan, Omkumar CU,
• Abstract要約: グラフ表現学習は、ノード分類やリンク予測といったタスクの基盤として登場した。 現在の自己教師付き学習(SSL)手法は、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。 本稿では,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLのための新しい結合埋め込み予測フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Graph representation learning has emerged as a cornerstone for tasks like node classification and link prediction, yet prevailing self-supervised learning (SSL) methods face challenges such as computational inefficiency, reliance on contrastive objectives, and representation collapse. Existing approaches often depend on feature reconstruction, negative sampling, or complex decoders, which introduce training overhead and hinder generalization. Further, current techniques which address such limitations fail to account for the contribution of node embeddings to a certain prediction in the absence of labeled nodes. To address these limitations, we propose a novel joint embedding predictive framework for graph SSL that eliminates contrastive objectives and negative sampling while preserving semantic and structural information. Additionally, we introduce a semantic-aware objective term that incorporates pseudo-labels derived from Gaussian Mixture Models (GMMs), enhancing node discriminability by evaluating latent feature contributions. Extensive experiments demonstrate that our framework outperforms state-of-the-art graph SSL methods across benchmarks, achieving superior performance without contrastive loss or complex decoders. Key innovations include (1) a non-contrastive, view-invariant joint embedding predictive architecture, (2) Leveraging single context and multiple targets relationship between subgraphs, and (3) GMM-based pseudo-label scoring to capture semantic contributions. This work advances graph SSL by offering a computationally efficient, collapse-resistant paradigm that bridges spatial and semantic graph features for downstream tasks. The code for our paper can be found at https://github.com/Deceptrax123/JPEB-GSSL
• Abstract（参考訳）: グラフ表現学習はノード分類やリンク予測といったタスクの基盤として現れてきたが、一般的な自己教師付き学習(SSL)手法では、計算の非効率性、対照的な目的への依存、表現の崩壊といった課題に直面している。 既存のアプローチは、しばしば機能の再構築、ネガティブサンプリング、複雑なデコーダに依存し、トレーニングのオーバーヘッドを導入し、一般化を妨げる。 さらに、そのような制限に対処する現在の技術は、ラベル付きノードがない場合の特定の予測に対するノード埋め込みの寄与を考慮できない。 これらの制約に対処するために,意味情報と構造情報を保存しながら,対照的な目的と負のサンプリングを排除したグラフSSLの結合埋め込み予測フレームワークを提案する。 さらに、ガウス混合モデル(GMM)から派生した擬似ラベルを組み込んだ意味認識目的語を導入し、潜在特徴量を評価することによってノード識別性を向上させる。 大規模な実験により、我々のフレームワークはベンチマーク全体にわたって最先端のグラフSSLメソッドより優れており、対照的な損失や複雑なデコーダを伴わずに優れたパフォーマンスを実現していることが示された。 主なイノベーションは,(1)非コントラスト的,ビュー不変な共同埋め込み予測アーキテクチャ,(2)単一コンテキストとサブグラフ間の複数ターゲット関係の活用,(3)GMMに基づく擬似ラベルスコアによるセマンティックコントリビューションの獲得である。 この研究は、ダウンストリームタスクのための空間グラフとセマンティックグラフ機能をブリッジする計算効率が高く、耐崩壊性のあるパラダイムを提供することで、グラフSSLを前進させる。 私たちの論文のコードはhttps://github.com/Deceptrax123/JPEB-GSSLにある。

関連論文リスト

• Improving Node Representation by Boosting Target-Aware Contrastive Loss [10.73390567832967]
  本稿では,ターゲット認識型コントラスト学習(Target-Aware Contrastive Learning,Target-Aware CL)を紹介する。 XTCLを最小化することにより、ターゲット認識CLは、ターゲットタスクとノード表現の間の相互情報を増加させる。 実験により、XTCLは2つのタスクの性能を著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-10-04T20:08:24Z)
• CONVERT:Contrastive Graph Clustering with Reliable Augmentation [110.46658439733106]
  信頼性オーグメンテーション(CONVERT)を用いたContrastiVe Graph ClustEringネットワークを提案する。 本手法では,データ拡張を可逆的パーターブ・リカバリネットワークにより処理する。 セマンティクスの信頼性をさらに保証するために、ネットワークを制約する新たなセマンティクス損失が提示される。
  論文  参考訳（メタデータ） (2023-08-17T13:07:09Z)
• Mitigating Semantic Confusion from Hostile Neighborhood for Graph Active Learning [38.5372139056485]
  Graph Active Learning(GAL)は、グラフニューラルネットワーク(GNN)のパフォーマンスを最大化するためのアノテーションのための、グラフで最も情報に富むノードを見つけることを目的としている。 Gal戦略は、特にグラフがノイズの多い場合、選択したトレーニングセットに意味的な混乱をもたらす可能性がある。 本稿では,意味的混乱を緩和するために,グラフのためのセマンティック・アウェア・アクティブ・ラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T07:06:54Z)
• BOURNE: Bootstrapped Self-supervised Learning Framework for Unified Graph Anomaly Detection [50.26074811655596]
  自己指導型自己学習(BOURNE)に基づく新しい統合グラフ異常検出フレームワークを提案する。 ノードとエッジ間のコンテキスト埋め込みを交換することで、ノードとエッジの異常を相互に検出できる。 BOURNEは、負のサンプリングを必要としないため、大きなグラフを扱う際の効率を高めることができる。
  論文  参考訳（メタデータ） (2023-07-28T00:44:57Z)
• Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment [10.879056662671802]
  自己教師付きノード表現学習は、教師付きノードと競合する未ラベルグラフからノード表現を学ぶことを目的としている。 本研究では,ノードとその周辺領域の隠蔽表現を整列させることにより,単純なyet効率の自己教師付きノード表現学習を提案する。 我々は,グラフ構造化データセットの集合に対して,ノード分類性能が期待できるノード表現を,小規模から大規模に学習する。
  論文  参考訳（メタデータ） (2023-02-09T13:21:18Z)
• STERLING: Synergistic Representation Learning on Bipartite Graphs [78.86064828220613]
  二部グラフ表現学習の基本的な課題は、ノードの埋め込みを抽出する方法である。 最近の二部グラフSSL法は、正ノード対と負ノード対を識別することによって埋め込みを学習する対照的な学習に基づいている。 負のノードペアを持たないノード埋め込みを学習するための新しい相乗的表現学習モデル(STERling)を提案する。
  論文  参考訳（メタデータ） (2023-01-25T03:21:42Z)
• Localized Contrastive Learning on Graphs [110.54606263711385]
  局所グラフコントラスト学習(Local-GCL)という,シンプルだが効果的なコントラストモデルを導入する。 その単純さにもかかわらず、Local-GCLは、様々なスケールと特性を持つグラフ上の自己教師付きノード表現学習タスクにおいて、非常に競争力のある性能を達成する。
  論文  参考訳（メタデータ） (2022-12-08T23:36:00Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning [64.98816284854067]
  グラフベースのSemi-Supervised Learning (SSL)は、少数のラベル付きデータのラベルをグラフ経由で残りの巨大なラベル付きデータに転送することを目的としている。 本稿では,データ類似性とグラフ構造を両立させ,監視信号の強化を図るため,新しいGCNベースのSSLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-15T13:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。