論文の概要: To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2305.14126v1
• Date: Tue, 23 May 2023 14:53:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 15:33:25.623913
• Title: To Copy Rather Than Memorize: A Vertical Learning Paradigm for Knowledge Graph Completion
• Title（参考訳）: 記憶ではなくコピーする: ナレッジグラフ補完のための垂直学習パラダイム
• Authors: Rui Li, Xu Chen, Chaozhuo Li, Yanming Shen, Jianan Zhao, Yujing Wang, Weihao Han, Hao Sun, Weiwei Deng, Qi Zhang, Xing Xie
• Abstract要約: 我々は、より正確な予測のために、埋め込みモデルを拡張し、関連する事実のトリプルからターゲット情報を明示的にコピーできるようにする。 また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。
• 参考スコア（独自算出の注目度）: 35.05965140700747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Embedding models have shown great power in knowledge graph completion (KGC) task. By learning structural constraints for each training triple, these methods implicitly memorize intrinsic relation rules to infer missing links. However, this paper points out that the multi-hop relation rules are hard to be reliably memorized due to the inherent deficiencies of such implicit memorization strategy, making embedding models underperform in predicting links between distant entity pairs. To alleviate this problem, we present Vertical Learning Paradigm (VLP), which extends embedding models by allowing to explicitly copy target information from related factual triples for more accurate prediction. Rather than solely relying on the implicit memory, VLP directly provides additional cues to improve the generalization ability of embedding models, especially making the distant link prediction significantly easier. Moreover, we also propose a novel relative distance based negative sampling technique (ReD) for more effective optimization. Experiments demonstrate the validity and generality of our proposals on two standard benchmarks. Our code is available at https://github.com/rui9812/VLP.
• Abstract（参考訳）: 埋め込みモデルは知識グラフ補完(KGC)タスクにおいて大きな力を示している。 各トレーニングトリプルの構造的制約を学習することにより、本質的な関係ルールを暗黙的に記憶し、欠落したリンクを推測する。 しかし,本論文では,このような暗黙的暗黙的暗示化戦略の固有の欠陥のため,マルチホップ関係ルールを確実に記憶することは困難であり,組込みモデルは遠方のエンティティペア間のリンクを予測できないことを指摘している。 この問題を軽減するために、より正確な予測のために、関係する実数三重から対象情報を明示的にコピーすることで、埋め込みモデルを拡張する垂直学習パラダイム(VLP)を提案する。 暗黙のメモリのみに頼るのではなく、VLPは直接的に埋め込みモデルの一般化能力を改善するためのヒントを提供する。 また、より効率的な最適化のための新しい相対距離ベース負サンプリング手法(ReD)を提案する。 実験は、2つの標準ベンチマークにおける提案の有効性と一般性を示す。 私たちのコードはhttps://github.com/rui9812/VLPで利用可能です。

関連論文リスト

• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• Zero-Shot Class Unlearning in CLIP with Synthetic Samples [0.0]
  私たちは、画像テキストペアの巨大なデータセットに基づいてトレーニングされたデュアルビジョン言語モデルであるCLIP内でのアンラーニングに重点を置いています。 リプシッツ正則化をCLIPのマルチモーダル文脈に適用する。 我々の忘れる手順は反復的であり、合成された忘れ物セットの精度を追跡し、選択された閾値未満の精度で停止する。
  論文  参考訳（メタデータ） (2024-07-10T09:16:14Z)
• Alpaca against Vicuna: Using LLMs to Uncover Memorization of LLMs [61.04246774006429]
  本稿では,攻撃者によるLSMエージェントを用いたブラックボックスプロンプト最適化手法を提案する。 ベースラインプレフィックス・サフィックス測定と比較すると,命令ベースのプロンプトは,トレーニングデータと23.7%のオーバラップで出力を生成する。 以上の結果から,命令調整モデルでは,ベースモデルと同等に事前学習データを公開することが可能であり,他のLSMが提案する命令を用いることで,新たな自動攻撃の道を開くことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-05T19:32:01Z)
• A Condensed Transition Graph Framework for Zero-shot Link Prediction with Large Language Models [20.220781775335645]
  ゼロショットリンク予測(CTLP)のための凝縮遷移グラフフレームワークを提案する。 CTLPは、すべてのパス情報を線形時間複雑性でエンコードし、エンティティ間の見えない関係を予測する。 提案手法は,3つの標準ZSLPデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-16T16:02:33Z)
• iMatching: Imperative Correspondence Learning [5.568520539073218]
  特徴対応学習のための自己指導型命令型学習(IL)を導入する。 カメラのポーズやディープラベルを使わずに、任意の未中断ビデオの対応学習を可能にする。 特徴マッチングやポーズ推定などのタスクにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-04T18:58:20Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Transductive Data Augmentation with Relational Path Rule Mining for Knowledge Graph Embedding [5.603379389073144]
  本稿では,関係経路規則と信頼度に基づく拡張データの重み付けによるトランスダクティブデータ拡張を提案する。 その結果,本提案手法は,真の回答を含むデータや類似したエンティティを付加することにより,埋め込みモデルの性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2021-11-01T14:35:14Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)
• Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
  条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。 条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-13T16:22:14Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。