論文の概要: Efficient Non-Sampling Knowledge Graph Embedding
- arxiv url: http://arxiv.org/abs/2104.10796v1
- Date: Wed, 21 Apr 2021 23:36:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-23 13:58:24.473297
- Title: Efficient Non-Sampling Knowledge Graph Embedding
- Title（参考訳）: 効率的な非サンプリング知識グラフ埋め込み
- Authors: Zelong Li, Jianchao Ji, Zuohui Fu, Yingqiang Ge, Shuyuan Xu, Chong
Chen, Yongfeng Zhang
- Abstract要約: 効率的な非サンプリング型知識グラフ埋め込み (NS-KGE) のための新しいフレームワークを提案する。
基本的な考え方は、モデル学習のためのkgの負のインスタンスをすべて考慮し、負のサンプリングを避けることである。
ベンチマークデータセットの実験により、NS-KGEフレームワークは従来の負サンプリングベースモデルよりも効率と正確性を向上できることが示された。
- 参考スコア（独自算出の注目度）: 21.074002550338296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Knowledge Graph (KG) is a flexible structure that is able to describe the
complex relationship between data entities. Currently, most KG embedding models
are trained based on negative sampling, i.e., the model aims to maximize some
similarity of the connected entities in the KG, while minimizing the similarity
of the sampled disconnected entities. Negative sampling helps to reduce the
time complexity of model learning by only considering a subset of negative
instances, which may fail to deliver stable model performance due to the
uncertainty in the sampling procedure. To avoid such deficiency, we propose a
new framework for KG embedding -- Efficient Non-Sampling Knowledge Graph
Embedding (NS-KGE). The basic idea is to consider all of the negative instances
in the KG for model learning, and thus to avoid negative sampling. The
framework can be applied to square-loss based knowledge graph embedding models
or models whose loss can be converted to a square loss. A natural side-effect
of this non-sampling strategy is the increased computational complexity of
model learning. To solve the problem, we leverage mathematical derivations to
reduce the complexity of non-sampling loss function, which eventually provides
us both better efficiency and better accuracy in KG embedding compared with
existing models. Experiments on benchmark datasets show that our NS-KGE
framework can achieve a better performance on efficiency and accuracy over
traditional negative sampling based models, and that the framework is
applicable to a large class of knowledge graph embedding models.
- Abstract（参考訳）: 知識グラフ(kg)は、データエンティティ間の複雑な関係を記述することができる柔軟な構造である。
現在、ほとんどのKG埋め込みモデルは、負のサンプリングに基づいて訓練されている。すなわち、このモデルは、サンプル化された非連結エンティティの類似性を最小化しながら、KG内の連結エンティティの類似性を最大化することを目的としている。
負のサンプリングは、サンプル処理の不確実性のために安定したモデル性能を提供することができない負のインスタンスのサブセットのみを考慮することで、モデル学習の時間的複雑さを低減するのに役立つ。
このような欠陥を避けるため、我々はKG埋め込みのための新しいフレームワーク -- 効率的な非サンプリング知識グラフ埋め込み (NS-KGE) を提案する。
基本的な考え方は、モデル学習のためのkgの負のインスタンスをすべて考慮し、負のサンプリングを避けることである。
このフレームワークは正方形損失に基づく知識グラフ埋め込みモデルや、損失を正方形損失に変換できるモデルに適用することができる。
この非サンプリング戦略の自然な副作用は、モデル学習の計算複雑性の増大である。
この問題を解決するために, 数学的導出を利用して非サンプリング損失関数の複雑性を低減し, 既存のモデルと比較してkg埋め込みの効率と精度を両立させる。
ベンチマークデータセットを用いた実験により、NS-KGEフレームワークは従来の負サンプリングベースモデルよりも効率と正確性を向上でき、このフレームワークは大規模な知識グラフ埋め込みモデルに適用可能であることが示された。
関連論文リスト
- How to Turn Your Knowledge Graph Embeddings into Generative Models [10.466244652188777]
リンク予測のための最も成功した知識グラフ埋め込み(KGE)モデルは、エネルギーベースモデルとして解釈できる。
この研究は、これらのKGEのスコア関数を回路として再解釈する。
我々の解釈では、リンク予測のパフォーマンスがほとんど、あるいは全く失われていない。
論文 参考訳（メタデータ） (2023-05-25T11:30:27Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - LightGCL: Simple Yet Effective Graph Contrastive Learning for
Recommendation [9.181689366185038]
グラフニューラルクラスタリングネットワーク(GNN)は、グラフベースのレコメンデータシステムのための強力な学習手法である。
本稿では,単純なグラフコントラスト学習パラダイムであるLightGCLを提案する。
論文 参考訳（メタデータ） (2023-02-16T10:16:21Z) - GreenKGC: A Lightweight Knowledge Graph Completion Method [32.528770408502396]
GreenKGCは、知識グラフ内のエンティティ間の欠落した関係を見つけることを目的としている。
表現学習、特徴抽出、決定学習の3つのモジュールで構成されている。
低次元では、GreenKGCはほとんどのデータセットでSOTAメソッドより優れている。
論文 参考訳（メタデータ） (2022-08-19T03:33:45Z) - Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。
Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文 参考訳（メタデータ） (2021-10-07T11:58:35Z) - T-LoHo: A Bayesian Regularization Model for Structured Sparsity and
Smoothness on Graphs [0.0]
グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。
グラフィカルな関係を持つ高次元パラメータに先立って提案する。
構造された空間と滑らかさを同時に検出するために使用します。
論文 参考訳（メタデータ） (2021-07-06T10:10:03Z) - Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。
トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
論文 参考訳（メタデータ） (2021-05-27T08:38:29Z) - Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。
単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。
提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2021-03-06T19:30:32Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z) - LowFER: Low-rank Bilinear Pooling for Link Prediction [4.110108749051657]
本稿では,多モーダル学習においてよく用いられる因子化双線形プールモデルを提案する。
我々のモデルは、他のモデルを一般化することが示されている分解タッカーベースのタッカーモデルを自然に一般化する。
実世界のデータセット、パー・オブ・ザ・アーティファクトのパフォーマンスについて評価する。
論文 参考訳（メタデータ） (2020-08-25T07:33:52Z) - Reinforced Negative Sampling over Knowledge Graph for Recommendation [106.07209348727564]
我々は、高品質なネガティブを探索する強化学習エージェントとして機能する新しい負サンプリングモデル、知識グラフポリシーネットワーク(kgPolicy)を開発した。
kgPolicyは、ターゲットのポジティブなインタラクションからナビゲートし、知識を意識したネガティブなシグナルを適応的に受信し、最終的にはリコメンダをトレーニングする潜在的なネガティブなアイテムを生成する。
論文 参考訳（メタデータ） (2020-03-12T12:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。