論文の概要: To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge
Graph Completion
- arxiv url: http://arxiv.org/abs/2305.14126v1
- Date: Tue, 23 May 2023 14:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 15:33:25.623913
- Title: To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge
Graph Completion
- Title(参考訳): 記憶ではなくコピーする: ナレッジグラフ補完のための垂直学習パラダイム
- Authors: Rui Li, Xu Chen, Chaozhuo Li, Yanming Shen, Jianan Zhao, Yujing Wang,
Weihao Han, Hao Sun, Weiwei Deng, Qi Zhang, Xing Xie
- Abstract要約: 我々は、より正確な予測のために、埋め込みモデルを拡張し、関連する事実のトリプルからターゲット情報を明示的にコピーできるようにする。
また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
- 参考スコア(独自算出の注目度): 35.05965140700747
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Embedding models have shown great power in knowledge graph completion (KGC)
task. By learning structural constraints for each training triple, these
methods implicitly memorize intrinsic relation rules to infer missing links.
However, this paper points out that the multi-hop relation rules are hard to be
reliably memorized due to the inherent deficiencies of such implicit
memorization strategy, making embedding models underperform in predicting links
between distant entity pairs. To alleviate this problem, we present Vertical
Learning Paradigm (VLP), which extends embedding models by allowing to
explicitly copy target information from related factual triples for more
accurate prediction. Rather than solely relying on the implicit memory, VLP
directly provides additional cues to improve the generalization ability of
embedding models, especially making the distant link prediction significantly
easier. Moreover, we also propose a novel relative distance based negative
sampling technique (ReD) for more effective optimization. Experiments
demonstrate the validity and generality of our proposals on two standard
benchmarks. Our code is available at https://github.com/rui9812/VLP.
- Abstract(参考訳): 埋め込みモデルは知識グラフ補完(KGC)タスクにおいて大きな力を示している。
各トレーニングトリプルの構造的制約を学習することにより、本質的な関係ルールを暗黙的に記憶し、欠落したリンクを推測する。
しかし,本論文では,このような暗黙的暗黙的暗示化戦略の固有の欠陥のため,マルチホップ関係ルールを確実に記憶することは困難であり,組込みモデルは遠方のエンティティペア間のリンクを予測できないことを指摘している。
この問題を軽減するために、より正確な予測のために、関係する実数三重から対象情報を明示的にコピーすることで、埋め込みモデルを拡張する垂直学習パラダイム(VLP)を提案する。
暗黙のメモリのみに頼るのではなく、VLPは直接的に埋め込みモデルの一般化能力を改善するためのヒントを提供する。
また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
実験は、2つの標準ベンチマークにおける提案の有効性と一般性を示す。
私たちのコードはhttps://github.com/rui9812/VLPで利用可能です。
関連論文リスト
- Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [63.67157940979682]
本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。
ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。
以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
論文 参考訳(メタデータ) (2024-03-05T19:32:01Z) - A Condensed Transition Graph Framework for Zero-shot Link Prediction
with Large Language Models [22.089751438495956]
ゼロショットリンク予測(CTLP)のための凝縮遷移グラフフレームワークを提案する。
CTLPは、すべてのパス情報を線形時間複雑性でエンコードし、エンティティ間の見えない関係を予測する。
提案手法は,3つの標準ZSLPデータセット上での最先端性能を実現する。
論文 参考訳(メタデータ) (2024-02-16T16:02:33Z) - iMatching: Imperative Correspondence Learning [5.974164730742711]
特徴対応学習のための自己指導型命令型学習(IL)を導入する。
カメラのポーズやディープラベルを使わずに、任意の未中断ビデオの対応学習を可能にする。
特徴マッチングやポーズ推定などのタスクにおいて,優れた性能を示す。
論文 参考訳(メタデータ) (2023-12-04T18:58:20Z) - Phantom Embeddings: Using Embedding Space for Model Regularization in
Deep Neural Networks [12.293294756969477]
機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。
複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。
情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
論文 参考訳(メタデータ) (2023-04-14T17:15:54Z) - Repurposing Knowledge Graph Embeddings for Triple Representation via
Weak Supervision [77.34726150561087]
現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。
本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。
これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
論文 参考訳(メタデータ) (2022-08-22T14:07:08Z) - Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。
NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。
我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-06-23T09:35:03Z) - Transductive Data Augmentation with Relational Path Rule Mining for
Knowledge Graph Embedding [5.603379389073144]
本稿では,関係経路規則と信頼度に基づく拡張データの重み付けによるトランスダクティブデータ拡張を提案する。
その結果,本提案手法は,真の回答を含むデータや類似したエンティティを付加することにより,埋め込みモデルの性能を効果的に向上することを示した。
論文 参考訳(メタデータ) (2021-11-01T14:35:14Z) - Remembering for the Right Reasons: Explanations Reduce Catastrophic
Forgetting [100.75479161884935]
我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。
RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。
メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
論文 参考訳(メタデータ) (2020-10-04T10:05:27Z) - Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。
条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
論文 参考訳(メタデータ) (2020-07-13T16:22:14Z) - Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。
PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。
PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文 参考訳(メタデータ) (2020-05-11T09:53:36Z) - Realistic Re-evaluation of Knowledge Graph Completion Methods: An
Experimental Study [0.0]
本論文は,埋め込みモデルの真の有効性を評価することを目的とした,最初の体系的研究である。
実験の結果、これらのモデルは以前よりもはるかに精度が低いことが分かりました。
論文 参考訳(メタデータ) (2020-03-18T01:18:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。