論文の概要: DropMix: Better Graph Contrastive Learning with Harder Negative Samples

• arxiv url: http://arxiv.org/abs/2310.09764v1
• Date: Sun, 15 Oct 2023 07:45:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 18:23:08.023937
• Title: DropMix: Better Graph Contrastive Learning with Harder Negative Samples
• Title（参考訳）: DropMix: よりハードな負のサンプルによるグラフコントラスト学習
• Authors: Yueqi Ma, Minjie Chen, Xiang Li
• Abstract要約: グラフコントラスト学習(GCL)における強陰性サンプルの合成にMixupを導入している。 より硬い負のサンプルを合成する新しいDropMix法を提案する。
• 参考スコア（独自算出の注目度）: 6.242575753642188
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While generating better negative samples for contrastive learning has been widely studied in the areas of CV and NLP, very few work has focused on graph-structured data. Recently, Mixup has been introduced to synthesize hard negative samples in graph contrastive learning (GCL). However, due to the unsupervised learning nature of GCL, without the help of soft labels, directly mixing representations of samples could inadvertently lead to the information loss of the original hard negative and further adversely affect the quality of the newly generated harder negative. To address the problem, in this paper, we propose a novel method DropMix to synthesize harder negative samples, which consists of two main steps. Specifically, we first select some hard negative samples by measuring their hardness from both local and global views in the graph simultaneously. After that, we mix hard negatives only on partial representation dimensions to generate harder ones and decrease the information loss caused by Mixup. We conduct extensive experiments to verify the effectiveness of DropMix on six benchmark datasets. Our results show that our method can lead to better GCL performance. Our data and codes are publicly available at https://github.com/Mayueq/DropMix-Code.
• Abstract（参考訳）: CV と NLP の分野では, 比較学習のためのより良い負のサンプルが広く研究されているが, グラフ構造化データに注目する研究はほとんどない。 近年,グラフコントラスト学習 (GCL) において, 強陰性サンプルを合成するためにMixupが導入されている。 しかし、GCLの教師なし学習の性質のため、ソフトラベルを使わずに、サンプルの直接混合は、元のハードネガティブの情報損失を必然的に招き、新たに生成されたハードネガティブの品質に悪影響を及ぼす可能性がある。 この問題に対処するため,本論文では2つの主要なステップからなる難解なサンプルを合成する新しいdropmix法を提案する。 具体的には、まず、グラフのローカルビューとグローバルビューの両方から、そのハードネスを同時に測定することで、いくつかのハードネガティブなサンプルを選択します。 その後、部分表現次元のみにハードネガティブを混合し、より難しいものを生成し、ミックスアップによる情報損失を減らす。 我々は6つのベンチマークデータセット上でdropmixの有効性を検証するために広範な実験を行う。 その結果,本手法がGCLの性能向上につながることが示された。 私たちのデータとコードはhttps://github.com/Mayueq/DropMix-Code.comで公開されています。

関連論文リスト

• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification [56.817386699291305]
  本稿では,DoubleMixと呼ばれる単純なデータ拡張手法を提案する。 DoubleMixはまず、トレーニングデータごとにいくつかの摂動サンプルを生成する。 次に、摂動データと元のデータを使って、隠れたニューラルネットワークの空間で2段階のステップを実行する。
  論文  参考訳（メタデータ） (2022-09-12T15:01:04Z)
• Generating Counterfactual Hard Negative Samples for Graph Contrastive Learning [22.200011046576716]
  グラフコントラスト学習は教師なしグラフ表現学習の強力なツールである。 最近の研究は、通常、正のサンプルと同一のトレーニングバッチから、または外部の無関係なグラフから、負のサンプルをサンプリングする。 我々は、textbfCounterfactual Mechanism を利用して、TextbfContrastive Learning のための人工的硬質負のサンプルを生成する方法を提案する。
  論文  参考訳（メタデータ） (2022-07-01T02:19:59Z)
• MixKG: Mixing for harder negative samples in knowledge graph [33.4379457065033]
  知識グラフ埋め込み(KGE)は、多くの実世界のアプリケーションのための低次元ベクトルへの実体と関係を表現することを目的としている。 そこで本研究では,知識グラフのより厳しい負のサンプルを生成するために,MixKGという安価で効果的な手法を提案する。 2つの公開データセットと4つの古典的KGE手法の実験は、MixKGが以前の負サンプリングアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-02-19T13:31:06Z)
• Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated Label Mixing [104.630875328668]
  ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。 両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
  論文  参考訳（メタデータ） (2021-12-16T11:27:48Z)
• An Empirical Study of the Effects of Sample-Mixing Methods for Efficient Training of Generative Adversarial Networks [0.0]
  生成敵対ネットワーク(GAN)のトレーニングは、発電機が高品質のサンプルを提供する前に巨大なイテレーションを必要とすることがよく知られています。 本研究では, この問題を緩和するために, 試料混合法であるMixup, CutMix, SRMixの効果を検討した。
  論文  参考訳（メタデータ） (2021-04-08T06:40:23Z)
• ReMix: Towards Image-to-Image Translation with Limited Data [154.71724970593036]
  本稿では,この問題に対処するためのデータ拡張手法(ReMix)を提案する。 特徴レベルでのトレーニングサンプルを補間し、サンプル間の知覚的関係に基づく新しいコンテンツ損失を提案します。 提案手法は, 生成のあいまいさを効果的に低減し, コンテンツ保存結果を生成する。
  論文  参考訳（メタデータ） (2021-03-31T06:24:10Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)
• SCE: Scalable Network Embedding from Sparsest Cut [20.08464038805681]
  大規模ネットワーク埋め込みは、教師なしの方法で各ノードの潜在表現を学習することである。 このような対照的な学習手法の成功の鍵は、正と負のサンプルを引き出す方法である。 本稿では, 負のサンプルのみを用いた教師なしネットワーク埋め込みのためのSCEを提案する。
  論文  参考訳（メタデータ） (2020-06-30T03:18:15Z)
• DivideMix: Learning with Noisy Labels as Semi-supervised Learning [111.03364864022261]
  ノイズラベルを学習するためのフレームワークであるDivideMixを提案する。 複数のベンチマークデータセットの実験は、最先端の手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-02-18T06:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。