論文の概要: Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding
- arxiv url: http://arxiv.org/abs/2407.04251v1
- Date: Fri, 5 Jul 2024 04:38:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-08 14:31:15.321351
- Title: Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding
- Title（参考訳）: 知識グラフ埋め込みにおける負サンプリング損失関数の平滑化法の統一解釈
- Authors: Xincan Feng, Hidetaka Kamigaito, Katsuhiko Hayashi, Taro Watanabe,
- Abstract要約: 本稿では、知識グラフ(KG)における負サンプリング(NS)損失の平滑化に関する理論的解釈を提供する。
新しいNS損失であるトリプルト適応負サンプリング(Triplet Adaptive Negative Smpling, TANS)を誘導し、従来の平滑化法の特徴をカバーする。
- 参考スコア（独自算出の注目度）: 31.26112477399022
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Graphs (KGs) are fundamental resources in knowledge-intensive tasks in NLP. Due to the limitation of manually creating KGs, KG Completion (KGC) has an important role in automatically completing KGs by scoring their links with KG Embedding (KGE). To handle many entities in training, KGE relies on Negative Sampling (NS) loss that can reduce the computational cost by sampling. Since the appearance frequencies for each link are at most one in KGs, sparsity is an essential and inevitable problem. The NS loss is no exception. As a solution, the NS loss in KGE relies on smoothing methods like Self-Adversarial Negative Sampling (SANS) and subsampling. However, it is uncertain what kind of smoothing method is suitable for this purpose due to the lack of theoretical understanding. This paper provides theoretical interpretations of the smoothing methods for the NS loss in KGE and induces a new NS loss, Triplet Adaptive Negative Sampling (TANS), that can cover the characteristics of the conventional smoothing methods. Experimental results of TransE, DistMult, ComplEx, RotatE, HAKE, and HousE on FB15k-237, WN18RR, and YAGO3-10 datasets and their sparser subsets show the soundness of our interpretation and performance improvement by our TANS.
- Abstract（参考訳）: 知識グラフ(KG)は、NLPにおける知識集約的なタスクの基本的なリソースである。
手動でKGを作成することの制限のため、KG Completion (KGC) はKG Embedding (KGE) とリンクをスコアリングすることでKGを自動補完する上で重要な役割を担っている。
トレーニングにおいて多くのエンティティを扱うため、KGEはNegative Smpling (NS)損失に依存しており、サンプリングによって計算コストを削減できる。
各リンクの出現頻度はKGの少なくとも1つであるため、スパシティは必須かつ避けられない問題である。
NS損失は例外ではない。
解法として、KGEのNS損失は自己逆陰性サンプリング(SANS)やサブサンプリングのような平滑化手法に依存している。
しかし、理論的な理解の欠如から、どのような平滑化法がこの目的に適しているのかは定かではない。
本稿では,KGEにおけるNS損失のスムース化法の理論的解釈を提供し,従来のスムース化法の特徴をカバーできる新たなNS損失であるトリプルト適応負サンプリング(TANS)を誘導する。
TransE, DistMult, ComplEx, RotatE, HAKE, HousE on FB15k-237, WN18RR, YAGO3-10 data and their sparser subsets showed the soundness of our interpretation and performance improve by our TANS。
関連論文リスト
- Modality-Aware Negative Sampling for Multi-modal Knowledge Graph
Embedding [12.513266782679754]
負のサンプリング (NS) は知識グラフ埋め込み (KGE) において広く用いられている。
既存のNS法は、KGEモデルでマルチモーダル情報を考えると不適当である。
本稿では,Multi-Aware Negative Smpling (MANS) を用いたマルチモーダル知識グラフ埋め込み(MMKGE)を提案する。
論文 参考訳（メタデータ） (2023-04-23T11:22:17Z) - Normalizing Flow-based Neural Process for Few-Shot Knowledge Graph
Completion [69.55700751102376]
FKGC (Few-shot Knowledge Graph completion) は、失明した事実を、無意味な関連のある事実で予測することを目的としている。
既存のFKGC手法はメートル法学習やメタラーニングに基づいており、しばしば分布外や過度に適合する問題に悩まされる。
本稿では,数ショット知識グラフ補完(NP-FKGC)のためのフローベースニューラルプロセスの正規化を提案する。
論文 参考訳（メタデータ） (2023-04-17T11:42:28Z) - Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural
Networks [89.28881869440433]
本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。
解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
論文 参考訳（メタデータ） (2023-02-06T16:54:20Z) - KG-NSF: Knowledge Graph Completion with a Negative-Sample-Free Approach [4.146672630717471]
埋め込みベクトルの相互相関行列に基づいてKG埋め込みを学習するための負のサンプリングフリーフレームワークbftextKG-NSFを提案する。
提案手法は, より高速に収束しながら, 負のサンプリングに基づく手法に比較して, リンク予測性能が向上することを示した。
論文 参考訳（メタデータ） (2022-07-29T11:39:04Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳（メタデータ） (2022-07-14T10:16:56Z) - Comprehensive Analysis of Negative Sampling in Knowledge Graph
Representation Learning [25.664174172917345]
負のサンプリング(NS)損失は、膨大な数のエンティティを扱うための知識グラフ埋め込み(KGE)の学習において重要な役割を果たす。
KGE学習において, NS損失を理論的に解析し, ハイパーパラメータチューニングを補助し, NS損失の有効利用を理解する。
FB15k-237, WN18RR, YAGO3-10データセットに関する実証分析の結果, 実際に訓練されたモデルの結果と理論的な結果が一致していることが判明した。
論文 参考訳（メタデータ） (2022-06-21T06:51:33Z) - MEKER: Memory Efficient Knowledge Embedding Representation for Link
Prediction and Question Answering [65.62309538202771]
知識グラフ(KG)は、事実を象徴的に構造化した記憶装置である。
KG埋め込みには、実世界の暗黙的な情報を必要とするNLPタスクで使用される簡潔なデータが含まれている。
リンク予測タスクとKGに基づく質問応答においてSOTAに比較可能な性能をもたらすメモリ効率のよいKG埋め込みモデルを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:47:03Z) - DSKReG: Differentiable Sampling on Knowledge Graph for Recommendation
with Relational GNN [59.160401038969795]
我々は,GNN(DSKReG)を用いた推薦のための知識グラフの識別可能なサンプリングを提案する。
そこで本研究では,モデル学習手順と組み合わせて,関連する項目の選択を最適化する,識別可能なサンプリング戦略を考案する。
実験の結果,我々のモデルは最先端のKGベースのレコメンデータシステムよりも優れていた。
論文 参考訳（メタデータ） (2021-08-26T16:19:59Z) - Efficient Non-Sampling Knowledge Graph Embedding [21.074002550338296]
効率的な非サンプリング型知識グラフ埋め込み (NS-KGE) のための新しいフレームワークを提案する。
基本的な考え方は、モデル学習のためのkgの負のインスタンスをすべて考慮し、負のサンプリングを避けることである。
ベンチマークデータセットの実験により、NS-KGEフレームワークは従来の負サンプリングベースモデルよりも効率と正確性を向上できることが示された。
論文 参考訳（メタデータ） (2021-04-21T23:36:39Z) - Efficient, Simple and Automated Negative Sampling for Knowledge Graph
Embedding [40.97648142355799]
負のサンプリングは、知識グラフ(KG)において観測されていないものから負の三重項をサンプリングするものであり、KGの埋め込みにおいて重要なステップである。
本稿では,大きな勾配を持つ負三重項が重要ではあるが稀であることを示す観測に動機付けられ,キャッシュで直接追跡することを提案する。
提案手法は従来のGAN方式の「蒸留」バージョンとして機能し, 負三重項の完全な分布に適合する追加パラメータの学習時間を無駄にしない。
論文 参考訳（メタデータ） (2020-10-24T14:16:35Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。