論文の概要: Negative as Positive: Enhancing Out-of-distribution Generalization for Graph Contrastive Learning

• arxiv url: http://arxiv.org/abs/2405.16224v1
• Date: Sat, 25 May 2024 13:29:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 00:21:21.751364
• Title: Negative as Positive: Enhancing Out-of-distribution Generalization for Graph Contrastive Learning
• Title（参考訳）: 肯定的な否定:グラフコントラスト学習における分布外一般化の促進
• Authors: Zixu Wang, Bingbing Xu, Yige Yuan, Huawei Shen, Xueqi Cheng,
• Abstract要約: グラフコントラスト学習(GCL)において、最も意味論的に類似したドメイン間負対を正として扱う新たな戦略であるNegative as Positiveを提案する。 実験結果から,GCLのOOD一般化性能が大幅に向上することが確認された。
• 参考スコア（独自算出の注目度）: 60.61079931266331
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph contrastive learning (GCL), standing as the dominant paradigm in the realm of graph pre-training, has yielded considerable progress. Nonetheless, its capacity for out-of-distribution (OOD) generalization has been relatively underexplored. In this work, we point out that the traditional optimization of InfoNCE in GCL restricts the cross-domain pairs only to be negative samples, which inevitably enlarges the distribution gap between different domains. This violates the requirement of domain invariance under OOD scenario and consequently impairs the model's OOD generalization performance. To address this issue, we propose a novel strategy "Negative as Positive", where the most semantically similar cross-domain negative pairs are treated as positive during GCL. Our experimental results, spanning a wide array of datasets, confirm that this method substantially improves the OOD generalization performance of GCL.
• Abstract（参考訳）: グラフ事前学習の分野で支配的なパラダイムであるグラフコントラスト学習(GCL)は、かなりの進歩をもたらした。 それでも、アウト・オブ・ディストリビューション(OOD)の一般化能力は比較的過小評価されている。 本稿では,GCL における InfoNCE の従来の最適化は,ドメイン間の分散ギャップを必然的に拡大する負のサンプルのみに制限されていることを指摘する。 これは、OODシナリオの下でのドメイン不変性の要件に違反し、結果としてモデルのOOD一般化性能を損なう。 この問題に対処するために、我々は、最も意味論的に類似したドメイン間負対をGCL中に正として扱う新しい戦略「Negative as Positive」を提案する。 実験結果から,GCLのOOD一般化性能が大幅に向上することが確認された。

関連論文リスト

• Graph Representation Learning via Causal Diffusion for Out-of-Distribution Recommendation [8.826417093212099]
  グラフニューラルネットワーク(GNN)ベースのレコメンデーションアルゴリズムは、トレーニングとテストデータは独立して同じ分散空間から引き出されると仮定する。 この仮定は、アウト・オブ・ディストリビューション(OOD)データの存在でしばしば失敗し、パフォーマンスが大幅に低下する。 OODレコメンデーションのための因果拡散によるグラフ表現学習(CausalDiffRec)を提案する。
  論文  参考訳（メタデータ） (2024-08-01T11:51:52Z)
• Smoothed Graph Contrastive Learning via Seamless Proximity Integration [30.247207861739245]
  グラフコントラスト学習(GCL)はノードペアを正と負に分類することでノード表現を整列させる。 SGCL(Smoothed Graph Contrastive Learning Model)を提案する。 提案したSGCLは,3つの異なる平滑化手法を取り入れることで,ノード対に付随するペナルティを対照的な損失で調整する。
  論文  参考訳（メタデータ） (2024-02-23T11:32:46Z)
• Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems [2.375943263571389]
  逆問題では、スパーシティ事前の組み込みは、解に対する正則化効果をもたらす。 本稿では,ガウスの混合として事前に定式化された確率的疎性について提案する。 我々は、このネットワークのパラメータを推定するために、教師なしのトレーニング戦略と教師なしのトレーニング戦略をそれぞれ導入した。
  論文  参考訳（メタデータ） (2024-01-29T22:52:57Z)
• Domain Adaptation with Adversarial Training on Penultimate Activations [82.9977759320565]
  教師なし領域適応(Unsupervised Domain Adaptation, UDA)の重要な目的は、ラベルなし対象データに対するモデル予測の信頼性を高めることである。 我々は,この戦略が,入力画像や中間特徴に対する敵対的訓練よりも予測信頼性を高める目的と,より効率的で相関性が高いことを示す。
  論文  参考訳（メタデータ） (2022-08-26T19:50:46Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• SelfReg: Self-supervised Contrastive Regularization for Domain Generalization [7.512471799525974]
  対照的学習,自己教師付きコントラスト正規化(SelfReg)に基づく領域一般化のための新しい正規化手法を提案する。 提案手法は正のデータペアのみを用いるため,負のペアサンプリングによって生じる様々な問題を解消する。 最近のベンチマークであるDomainBedでは、提案手法は従来の最先端技術に匹敵する性能を示している。
  論文  参考訳（メタデータ） (2021-04-20T09:08:29Z)
• Margin Preserving Self-paced Contrastive Learning Towards Domain Adaptation for Medical Image Segmentation [51.93711960601973]
  クロスモーダル医療画像セグメンテーションのための自己ペースコントラスト学習モデルを保存する新しいマージンを提案する。 プログレッシブに洗練されたセマンティックプロトタイプの指導により、埋め込み表現空間の識別性を高めるために、コントラスト損失を減少させる新しいマージンが提案される。 クロスモーダル心セグメンテーションタスクの実験は、MPSCLが意味セグメンテーション性能を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-03-15T15:23:10Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。