論文の概要: Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples

• arxiv url: http://arxiv.org/abs/2212.13847v3
• Date: Fri, 5 Apr 2024 11:06:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 00:53:45.536920
• Title: Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples
• Title（参考訳）: メタパスコンテキストと適応重み付き負のサンプルを用いた不均一グラフ比較学習
• Authors: Jianxiang Yu, Qingqing Ge, Xiang Li, Aoying Zhou,
• Abstract要約: 本稿ではメタパスコンテキストと重み付き負のサンプルの両方を考慮したMEOWを提案する。 負のサンプルをよりよく区別するために,ノードクラスタリングに基づく重み付けの難易度を学習する。 さらに,ノード表現を改善するために,負サンプルの軟値重みを適応的に学習する変種モデルAdaMEOWを提案する。
• 参考スコア（独自算出の注目度）: 15.08123957811381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Heterogeneous graph contrastive learning has received wide attention recently. Some existing methods use meta-paths, which are sequences of object types that capture semantic relationships between objects, to construct contrastive views. However, most of them ignore the rich meta-path context information that describes how two objects are connected by meta-paths. Further, they fail to distinguish negative samples, which could adversely affect the model performance. To address the problems, we propose MEOW, which considers both meta-path contexts and weighted negative samples. Specifically, MEOW constructs a coarse view and a fine-grained view for contrast. The former reflects which objects are connected by meta-paths, while the latter uses meta-path contexts and characterizes details on how the objects are connected. Then, we theoretically analyze the InfoNCE loss and recognize its limitations for computing gradients of negative samples. To better distinguish negative samples, we learn hard-valued weights for them based on node clustering and use prototypical contrastive learning to pull close embeddings of nodes in the same cluster. In addition, we propose a variant model AdaMEOW that adaptively learns soft-valued weights of negative samples to further improve node representation. Finally, we conduct extensive experiments to show the superiority of MEOW and AdaMEOW against other state-of-the-art methods.
• Abstract（参考訳）: 異種グラフコントラスト学習は近年広く注目されている。 既存のメソッドでは、オブジェクト間のセマンティックな関係をキャプチャするオブジェクト型のシーケンスであるメタパスを使用して、コントラッシブなビューを構築する。 しかし、そのほとんどは、メタパスによって2つのオブジェクトが接続される方法を記述するリッチなメタパスコンテキスト情報を無視している。 さらに、モデルの性能に悪影響を及ぼす可能性のある負のサンプルを区別することができない。 本稿ではメタパスコンテキストと重み付き負のサンプルの両方を考慮したMEOWを提案する。 具体的には、MEOWは、粗いビューとコントラストのためのきめ細かいビューを構築する。 前者はどのオブジェクトがメタパスで接続されているかを反映し、後者はメタパスコンテキストを使用し、オブジェクトがどのように接続されているかの詳細を特徴付ける。 そこで我々は,InfoNCEの損失を理論的に解析し,負サンプルの勾配計算の限界を認識した。 負のサンプルをよりよく識別するために、ノードクラスタリングに基づいてそれらの重み付けを強く評価し、プロトタイプのコントラスト学習を用いて同一クラスタ内のノードの密着な埋め込みを抽出する。 さらに,ノード表現を改善するために,負サンプルの軟値重みを適応的に学習する変種モデルAdaMEOWを提案する。 最後に,他の最先端手法に対するMEOWとAdaMEOWの優位性を示すため,広範な実験を行った。

関連論文リスト

• Topology Reorganized Graph Contrastive Learning with Mitigating Semantic Drift [28.83750578838018]
  グラフコントラスト学習(GCL)は、グラフにおけるノード表現学習に有効なパラダイムである。 対照的な視点の多様性を高めるために,現在のGCLを補うための2つの単純かつ効果的なグローバルトポロジ的拡張を提案する。
  論文  参考訳（メタデータ） (2024-07-23T13:55:33Z)
• Deep Contrastive Multi-view Clustering under Semantic Feature Guidance [8.055452424643562]
  本稿では,Semantic Feature Guide (DCMCS) の下で,Deep Contrastive Multi-view Clustering というマルチビュークラスタリングフレームワークを提案する。 意味的類似性によって重み付けされたインスタンスレベルのコントラスト損失を最小化することにより、DCMCSは偽陰対間のコントラストの傾きを適応的に弱める。 いくつかの公開データセットの実験結果は、提案したフレームワークが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2024-03-09T02:33:38Z)
• Graph Ranking Contrastive Learning: A Extremely Simple yet Efficient Method [17.760628718072144]
  InfoNCEは2つのビューを得るために拡張技術を使用し、1つのビューのノードがアンカーとして機能し、もう1つのビューの対応するノードが正のサンプルとして機能し、他のすべてのノードが負のサンプルとみなされる。 目標は、アンカーノードと正のサンプルの間の距離を最小化し、負のサンプルまでの距離を最大化することである。 トレーニング中にラベル情報が不足しているため、InfoNCEは必然的に同じクラスのサンプルを負のサンプルとして扱い、偽の負のサンプルの問題を引き起こす。 偽陰性サンプルの問題に対処する簡易かつ効率的なグラフコントラスト学習法であるGraphRankを提案する。
  論文  参考訳（メタデータ） (2023-10-23T03:15:57Z)
• Modulated Contrast for Versatile Image Synthesis [60.304183493234376]
  MoNCEは画像のコントラストを導入し、多面的画像間距離の知覚のための校正基準を学習する。 複数の対照的な目的に対して協調的に負のサンプルのプッシュ力を変調するために,MoNCEの最適輸送を導入する。
  論文  参考訳（メタデータ） (2022-03-17T14:03:46Z)
• Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding [14.295787044482136]
  文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。 我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。 実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T08:29:25Z)
• Structure-Aware Hard Negative Mining for Heterogeneous Graph Contrastive Learning [21.702342154458623]
  本稿では,グラフニューラルネットワーク(GNN)におけるコントラスト学習(CL)について検討する。 まず、メタパスとネットワークスキーマに基づいて複数のセマンティックビューを生成します。 次に、異なるセマンティックビューに対応するノードの埋め込み(陽性)を押して、他の埋め込み(負)を引き離します。 複雑なグラフ構造とGNNの滑らかな性質を考慮し,構造を考慮した強負のマイニング手法を提案する。
  論文  参考訳（メタデータ） (2021-08-31T14:44:49Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。