論文の概要: Language Model-driven Negative Sampling

• arxiv url: http://arxiv.org/abs/2203.04703v1
• Date: Wed, 9 Mar 2022 13:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-10 23:12:49.771434
• Title: Language Model-driven Negative Sampling
• Title（参考訳）: 言語モデル駆動ネガティブサンプリング
• Authors: Mirza Mohtashim Alam, Md Rashad Al Hasan Rony, Semab Ali, Jens Lehmann, Sahar Vahdati
• Abstract要約: 知識グラフ埋め込み(KGE)は、究極の下流タスク(リンク予測、質問応答)の表現学習と推論を目的として、知識グラフ(KG)の実体と関係をベクトル空間に符号化する。 KGE はクローズドワールドの仮定に従い、KG の現在のすべての事実を正(正)であると仮定するので、既存の三重項の真性テストの学習過程において、負のサンプルを必要とする。 そこで本稿では,KGsにおける既存のリッチテキスト知識を考慮したネガティブサンプリング手法を提案する。
• 参考スコア（独自算出の注目度）: 8.299192665823542
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge Graph Embeddings (KGEs) encode the entities and relations of a knowledge graph (KG) into a vector space with a purpose of representation learning and reasoning for an ultimate downstream task (i.e., link prediction, question answering). Since KGEs follow closed-world assumption and assume all the present facts in KGs to be positive (correct), they also require negative samples as a counterpart for learning process for truthfulness test of existing triples. Therefore, there are several approaches for creating negative samples from the existing positive ones through a randomized distribution. This choice of generating negative sampling affects the performance of the embedding models as well as their generalization. In this paper, we propose an approach for generating negative sampling considering the existing rich textual knowledge in KGs. %The proposed approach is leveraged to cluster other relevant representations of the entities inside a KG. Particularly, a pre-trained Language Model (LM) is utilized to obtain the contextual representation of symbolic entities. Our approach is then capable of generating more meaningful negative samples in comparison to other state of the art methods. Our comprehensive evaluations demonstrate the effectiveness of the proposed approach across several benchmark datasets for like prediction task. In addition, we show cased our the functionality of our approach on a clustering task where other methods fall short.
• Abstract（参考訳）: 知識グラフ埋め込み(英: Knowledge Graph Embeddings, KGE)は、知識グラフ(英: knowledge graph, KG)の実体と関係をベクトル空間にエンコードし、究極の下流タスク(リンク予測、質問応答)の表現学習と推論を目的としている。 KGE はクローズドワールドの仮定に従い、KG の現在のすべての事実を正(正)であると仮定するので、既存の三重項の真性テストの学習過程において負のサンプルを必要とする。 したがって、ランダム分布を介して既存の正のサンプルから負のサンプルを作成するいくつかのアプローチがある。 負のサンプリングを生成するこの選択は、埋め込みモデルの性能と一般化に影響を及ぼす。 本稿では,KGsにおける既存のリッチテキスト知識を考慮したネガティブサンプリング手法を提案する。 % 提案手法はKG内のエンティティの他の関連する表現をクラスタリングするために利用される。 特に、事前訓練された言語モデル(LM)を用いて、シンボルエンティティの文脈表現を得る。 提案手法は,他の手法と比較して,より有意義な負のサンプルを生成することができる。 提案手法は,複数のベンチマークデータセットにまたがって,提案手法の有効性を示す。 さらに、他の手法が不足しているクラスタリングタスクにおいて、我々のアプローチの機能をケースで示します。

関連論文リスト

• Entity Aware Negative Sampling with Auxiliary Loss of False Negative Prediction for Knowledge Graph Embedding [0.0]
  我々はEANS(Entity Aware Negative Smpling)と呼ばれる新しい手法を提案する。 EANSは、整列した実体指数空間にガウス分布を採用することにより、正に類似した負の実体をサンプリングすることができる。 提案手法は, 正のサンプルサイズによらず高品質な負のサンプルを生成し, 偽の負のサンプルの影響を効果的に軽減することができる。
  論文  参考訳（メタデータ） (2022-10-12T14:27:51Z)
• Prototypical Graph Contrastive Learning [141.30842113683775]
  本稿では,有意なサンプリングバイアスを緩和するために,プロトタイプグラフコントラスト学習(PGCL)手法を提案する。 具体的には、PGCLは、グラフデータの基盤となる意味構造を、意味論的に類似したグラフを同じグループにクラスタリングすることでモデル化し、同時に、同じグラフの異なる拡張に対するクラスタリング一貫性を奨励する。 クエリのために、PGCLはさらに、プロトタイプ(クラスタセントロイド)とクエリプロトタイプの間の距離に基づいて、負のサンプルを再重み付けする。
  論文  参考訳（メタデータ） (2021-06-17T16:45:31Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
  難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。 それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。 これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
  論文  参考訳（メタデータ） (2020-10-05T14:17:32Z)
• Structure Aware Negative Sampling in Knowledge Graphs [18.885368822313254]
  対照的な学習アプローチの重要な側面は、強い負のサンプルを生成する汚職分布の選択である。 我々は,ノードのkホップ近傍から負のサンプルを選択することで,リッチグラフ構造を利用した安価な負のサンプリング戦略であるStructure Aware Negative Smpling (SANS)を提案する。
  論文  参考訳（メタデータ） (2020-09-23T19:57:00Z)
• Understanding Negative Sampling in Graph Representation Learning [87.35038268508414]
  最適化目標と結果のばらつきを決定するためには, 正のサンプリングと同様に負のサンプリングが重要であることを示す。 我々は,自己コントラスト近似による正の分布を近似し,メトロポリス・ハスティングスによる負のサンプリングを高速化するメトロポリス・ハスティングス(MCNS)を提案する。 提案手法は,リンク予測,ノード分類,パーソナライズドレコメンデーションを含む,下流グラフ学習タスクをカバーする5つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-05-20T06:25:21Z)
• Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
  我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。 kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
  論文  参考訳（メタデータ） (2020-03-12T12:44:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。