論文の概要: InfoNCE is a Free Lunch for Semantically guided Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2505.06282v1
• Date: Wed, 07 May 2025 05:27:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:48.738336
• Title: InfoNCE is a Free Lunch for Semantically guided Graph Contrastive Learning
• Title（参考訳）: InfoNCEはグラフコントラスト学習のためのフリーランチ
• Authors: Zixu Wang, Bingbing Xu, Yige Yuan, Huawei Shen, Xueqi Cheng,
• Abstract要約: グラフコントラスト学習(GCL)は、グラフ基盤モデルやLLMの研究の急増において、グラフのエンハンサーとして重要な役割を担っている。 従来のGCLでは、自己監督タスクの定義に拡張を使用し、強化ペアを正のサンプルとして、その他のものを負のサンプルとして扱う。 本稿では,GCLは基本的に,自己教師型タスクの定義を意味的に導くべき,肯定的非ラベル付き学習問題である,と論じる。
• 参考スコア（独自算出の注目度）: 60.61079931266331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As an important graph pre-training method, Graph Contrastive Learning (GCL) continues to play a crucial role in the ongoing surge of research on graph foundation models or LLM as enhancer for graphs. Traditional GCL optimizes InfoNCE by using augmentations to define self-supervised tasks, treating augmented pairs as positive samples and others as negative. However, this leads to semantically similar pairs being classified as negative, causing significant sampling bias and limiting performance. In this paper, we argue that GCL is essentially a Positive-Unlabeled (PU) learning problem, where the definition of self-supervised tasks should be semantically guided, i.e., augmented samples with similar semantics are considered positive, while others, with unknown semantics, are treated as unlabeled. From this perspective, the key lies in how to extract semantic information. To achieve this, we propose IFL-GCL, using InfoNCE as a "free lunch" to extract semantic information. Specifically, We first prove that under InfoNCE, the representation similarity of node pairs aligns with the probability that the corresponding contrastive sample is positive. Then we redefine the maximum likelihood objective based on the corrected samples, leading to a new InfoNCE loss function. Extensive experiments on both the graph pretraining framework and LLM as an enhancer show significantly improvements of IFL-GCL in both IID and OOD scenarios, achieving up to a 9.05% improvement, validating the effectiveness of semantically guided. Code for IFL-GCL is publicly available at: https://github.com/Camel-Prince/IFL-GCL.
• Abstract（参考訳）: グラフコントラスト学習(GCL)はグラフの事前学習方法として,グラフ基盤モデル(LLM)の研究の活発化において重要な役割を担っている。 従来のGCLは、強化を使用して自己教師付きタスクを定義し、強化されたペアを正のサンプルとして扱い、その他のものを負として扱うことでInfoNCEを最適化する。 しかし、これは意味的に類似したペアを負に分類し、かなりのサンプリングバイアスと性能の制限を引き起こす。 本稿では、GCLが本質的に正の非ラベル付き学習問題であり、自己教師型タスクの定義を意味的にガイドすべきである、すなわち、類似のセマンティクスを持つ拡張サンプルは肯定的であり、他のセマンティクスが未知のセマンティクスを持つものは無ラベルで扱われる、と論じる。 この観点から、鍵となるのは意味情報を抽出する方法にある。 そこで我々は,InfoNCE を「フリーランチ」として利用して意味情報を抽出する IFL-GCL を提案する。 具体的には、InfoNCE において、ノード対の表現類似性は、対応するコントラスト標本が正の確率と一致することを最初に証明する。 そして,修正したサンプルに基づいて最大極大目標を再定義し,新しいInfoNCE損失関数を導出する。 グラフ事前学習フレームワークとLLMのエンハンサーとしての広範な実験により、IIDとOODの両方のシナリオにおいてIFL-GCLが大幅に改善され、最大9.05%の改善が達成され、セマンティックガイドの有効性が検証された。 IFL-GCLのコードは、https://github.com/Camel-Prince/IFL-GCLで公開されている。

関連論文リスト

• Unveiling Contrastive Learning's Capability of Neighborhood Aggregation for Collaborative Filtering [16.02820746003461]
  グラフコントラスト学習(GCL)は、リコメンデータシステムにおいて、徐々に支配的なアプローチになりつつある。 本稿では,CL目標の勾配降下過程がグラフ畳み込みと正式に等価であることを明らかにする。 そこで本稿では,ユーザを他のポジティブなペアから遠ざけながら,対話するすべてのアイテムに近づけるための,新しいエリアアグリゲーションの目標を提案する。
  論文  参考訳（メタデータ） (2025-04-14T11:22:41Z)
• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• L^2CL: Embarrassingly Simple Layer-to-Layer Contrastive Learning for Graph Collaborative Filtering [33.165094795515785]
  グラフニューラルネットワーク(GNN)は、最近、協調フィルタリングにおいて近隣の信号をモデル化するための効果的なアプローチとして登場した。 L2CLは、異なるレイヤの表現を対比する、原則的なレイヤ間コントラスト学習フレームワークである。 その結果,L2CLは,一対一のコントラスト学習パラダイムのみを用いて,固有の意味構造をキャプチャし,ノード表現の質を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-07-19T12:45:21Z)
• Unraveling the Impact of Heterophilic Structures on Graph Positive-Unlabeled Learning [71.9954600831939]
  実世界の多くのシナリオにおいて、肯定的無ラベル(PU)学習は不可欠であるが、そのグラフデータへの応用は未探索のままである。 グラフ上でのPU学習において重要な課題がエッジヘテロフィリーにあり、クラスプライア推定の既約性前提に直接違反していることを明らかにする。 この課題に対応するために,ラベル伝搬損失(GPL)を用いたグラフPU学習という新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-05-30T10:30:44Z)
• Decoupled Contrastive Learning for Long-Tailed Recognition [58.255966442426484]
  Supervised Contrastive Loss (SCL) は視覚表現学習で人気がある。 ロングテール認識のシナリオでは、各クラスのサンプル数が不均衡である場合、2種類の正のサンプルを同じように扱うと、カテゴリー内距離に対するバイアス最適化が導かれる。 そこで我々は,尾級の低表現を緩和するために,頭級から尾級へ知識を伝達するためのパッチベースの自己蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-03-10T09:46:28Z)
• Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning [34.566003077992384]
  本稿では,グラフコントラスト学習法(GCL)の体系的研究について述べる。 GNNの暗黙的帰納バイアスが対照的な学習にどのように作用するかを明らかにすることによって、理論上はGCLの興味深い性質に関する洞察を提供する。 既存のNNメソッドを直接GCLに移植するのではなく、グラフ学習のユニークなアーキテクチャにもっと注意を払うことを提唱する。
  論文  参考訳（メタデータ） (2023-11-05T15:54:17Z)
• Adversarial Learning Data Augmentation for Graph Contrastive Learning in Recommendation [56.10351068286499]
  グラフコントラスト学習のための学習可能なデータ拡張法(LDA-GCL)を提案する。 提案手法は,InfoMin と InfoMax の原則に従うデータ強化学習とグラフコントラスト学習を含む。 本手法は,データ拡張とユーザやアイテムの効果的な表現を学習するために,対向損失関数を最適化する。
  論文  参考訳（メタデータ） (2023-02-05T06:55:51Z)
• Unifying Graph Contrastive Learning with Flexible Contextual Scopes [57.86762576319638]
  フレキシブルコンテキストスコープを用いたグラフコントラスト学習(略してUGCL)という自己教師型学習手法を提案する。 本アルゴリズムは,隣接行列のパワーを制御し,コンテキストスコープによるフレキシブルな文脈表現を構築する。 局所的スコープと文脈的スコープの両方の表現に基づいて、distLはグラフ表現学習のための非常に単純な対照的な損失関数を最適化する。
  論文  参考訳（メタデータ） (2022-10-17T07:16:17Z)
• Enhancing Graph Contrastive Learning with Node Similarity [4.60032347615771]
  グラフコントラスト学習(GCL)は、自己教師型学習の代表的なフレームワークである。 GCLは、意味的に類似したノード(正のサンプル)と異種ノード(負のサンプル)とアンカーノードとの対比によってノード表現を学習する。 本稿では,全ての正のサンプルと偽陰性サンプルを含まない拡張目的を提案する。
  論文  参考訳（メタデータ） (2022-08-13T22:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。