論文の概要: Understanding Negative Sampling in Graph Representation Learning

• arxiv url: http://arxiv.org/abs/2005.09863v2
• Date: Thu, 25 Jun 2020 04:10:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 04:47:41.195720
• Title: Understanding Negative Sampling in Graph Representation Learning
• Title（参考訳）: グラフ表現学習における否定サンプリングの理解
• Authors: Zhen Yang, Ming Ding, Chang Zhou, Hongxia Yang, Jingren Zhou and Jie Tang
• Abstract要約: 最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
• 参考スコア（独自算出の注目度）: 87.35038268508414
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph representation learning has been extensively studied in recent years. Despite its potential in generating continuous embeddings for various networks, both the effectiveness and efficiency to infer high-quality representations toward large corpus of nodes are still challenging. Sampling is a critical point to achieve the performance goals. Prior arts usually focus on sampling positive node pairs, while the strategy for negative sampling is left insufficiently explored. To bridge the gap, we systematically analyze the role of negative sampling from the perspectives of both objective and risk, theoretically demonstrating that negative sampling is as important as positive sampling in determining the optimization objective and the resulted variance. To the best of our knowledge, we are the first to derive the theory and quantify that the negative sampling distribution should be positively but sub-linearly correlated to their positive sampling distribution. With the guidance of the theory, we propose MCNS, approximating the positive distribution with self-contrast approximation and accelerating negative sampling by Metropolis-Hastings. We evaluate our method on 5 datasets that cover extensive downstream graph learning tasks, including link prediction, node classification and personalized recommendation, on a total of 19 experimental settings. These relatively comprehensive experimental results demonstrate its robustness and superiorities.
• Abstract（参考訳）: 近年,グラフ表現学習が広く研究されている。 様々なネットワークに対して連続的な埋め込みを生成する可能性にもかかわらず、大規模なノードに対して高品質な表現を推論する効率と効率は依然として困難である。 サンプリングはパフォーマンス目標を達成するための重要なポイントです。 先行技術は通常正のノード対のサンプリングに焦点を当てるが、負のサンプリングの戦略は十分に検討されていない。 このギャップを埋めるために,目的とリスクの両方の観点から負のサンプリングの役割を体系的に分析し,理論的に負のサンプリングは最適化目標と結果のばらつきを決定する際に負のサンプリングと同じくらい重要であることを示した。 我々の知る限りでは、この理論を導出し、負のサンプリング分布は正の値であるが、負のサンプリング分布と正の相関関係にあることを定量化する最初の方法である。 提案するMCNSは,自己コントラスト近似による正の分布の近似と,メトロポリス・ハスティングスによる負のサンプリングの高速化である。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む下流グラフ学習タスクをカバーする5つのデータセットに対して,合計19の実験的な設定で評価する。 これらの比較的包括的な実験結果は、その堅牢性と優位性を示している。

関連論文リスト

• Diffusion-based Negative Sampling on Graphs for Link Prediction [8.691564173331924]
  リンク予測は、ソーシャルネットワーク分析やレコメンデーションシステムなど、Web上の重要なアプリケーションを用いたグラフ解析の基本的なタスクである。 本稿では,潜在空間からフレキシブルかつ制御可能な硬さのレベルを持つ負ノード生成を可能にする,マルチレベル負サンプリングの新しい手法を提案する。 条件拡散に基づくマルチレベル負サンプリング (DMNS) と呼ばれる本手法は, 拡散モデルのマルコフ連鎖特性を利用して, 可変硬度の複数レベルにおいて負のノードを生成する。
  論文  参考訳（メタデータ） (2024-03-25T23:07:31Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Rethinking Collaborative Metric Learning: Toward an Efficient Alternative without Negative Sampling [156.7248383178991]
  コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。 負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。 そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
  論文  参考訳（メタデータ） (2022-06-23T08:50:22Z)
• Negative Sampling for Recommendation [7.758275614033198]
  高品質なネガティブなインスタンスを効果的にサンプルする方法は、レコメンデーションモデルを適切にトレーニングするために重要である。 我々は、高品質なネガティブは、テクスチュンフォームネスとテクスチュンバイアスネスの両方であるべきだと論じる。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Language Model-driven Negative Sampling [8.299192665823542]
  知識グラフ埋め込み(KGE)は、究極の下流タスク(リンク予測、質問応答)の表現学習と推論を目的として、知識グラフ(KG)の実体と関係をベクトル空間に符号化する。 KGE はクローズドワールドの仮定に従い、KG の現在のすべての事実を正(正)であると仮定するので、既存の三重項の真性テストの学習過程において、負のサンプルを必要とする。 そこで本稿では,KGsにおける既存のリッチテキスト知識を考慮したネガティブサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-09T13:27:47Z)
• Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning [13.474603286270836]
  本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。 本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
  論文  参考訳（メタデータ） (2021-11-04T21:25:24Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Structure Aware Negative Sampling in Knowledge Graphs [18.885368822313254]
  対照的な学習アプローチの重要な側面は、強い負のサンプルを生成する汚職分布の選択である。 我々は,ノードのkホップ近傍から負のサンプルを選択することで,リッチグラフ構造を利用した安価な負のサンプリング戦略であるStructure Aware Negative Smpling (SANS)を提案する。
  論文  参考訳（メタデータ） (2020-09-23T19:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。