論文の概要: Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction

• arxiv url: http://arxiv.org/abs/2112.10644v1
• Date: Mon, 20 Dec 2021 16:11:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-21 15:18:39.224931
• Title: Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction
• Title（参考訳）: リンク予測のための低次元知識グラフ埋め込みの自己注意提示
• Authors: Peyman Baghershahi, Reshad Hosseini, Hadi Moradi
• Abstract要約: セルフアテンションは、エンティティとリレーションにクエリ依存のプロジェクションを適用するための鍵である。 我々のモデルは、最新の3つの最先端の競合製品よりも好意的に、あるいは優れたパフォーマンスを達成しています。
• 参考スコア（独自算出の注目度）: 6.789370732159177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, link prediction problem, also known as knowledge graph completion, has attracted lots of researches. Even though there are few recent models tried to attain relatively good performance by embedding knowledge graphs in low dimensions, the best results of the current state-of-the-art models are earned at the cost of considerably increasing the dimensionality of embeddings. However, this causes overfitting and more importantly scalability issues in case of huge knowledge bases. Inspired by the recent advances in deep learning offered by variants of the Transformer model, because of its self-attention mechanism, in this paper we propose a model based on it to address the aforementioned limitation. In our model, self-attention is the key to applying query-dependant projections to entities and relations, and capturing the mutual information between them to gain highly expressive representations from low-dimensional embeddings. Empirical results on two standard link prediction datasets, FB15k-237 and WN18RR, demonstrate that our model achieves favorably comparable or better performance than our three best recent state-of-the-art competitors, with a significant reduction of 76.3% in the dimensionality of embeddings on average.
• Abstract（参考訳）: 近年,知識グラフ補完としても知られるリンク予測問題は,多くの研究を惹きつけている。 知識グラフを低次元に埋め込むことで比較的優れた性能を達成しようとする最近のモデルはほとんどないが、現在の最先端モデルの最良の結果は、埋め込みの次元を著しく増大させるコストで得られる。 しかし、これは過剰フィッティングを引き起こし、巨大な知識ベースの場合、より重要なスケーラビリティの問題を引き起こす。 本稿では,トランスフォーマーモデルの変種による近年の深層学習の進歩に触発されて,前述の制限に対応するためのモデルを提案する。 私たちのモデルでは、クエリ依存射影をエンティティやリレーションに適用し、それらの間の相互情報を取り込んで低次元埋め込みから表現力の高い表現を得るための鍵となる。 2つの標準リンク予測データセットであるFB15k-237とWN18RRの実証的な結果から、我々のモデルは、最新の3つの最先端の競合よりも好適に、あるいは優れた性能を達成でき、平均的な埋め込み次元は76.3%減少した。

関連論文リスト

• A Collaborative Ensemble Framework for CTR Prediction [73.59868761656317]
  我々は、複数の異なるモデルを活用するための新しいフレームワーク、CETNet(Collaborative Ensemble Training Network)を提案する。 ナイーブなモデルスケーリングとは違って,私たちのアプローチは,共同学習による多様性とコラボレーションを重視しています。 当社のフレームワークは,Metaの3つのパブリックデータセットと大規模産業データセットに基づいて検証する。
  論文  参考訳（メタデータ） (2024-11-20T20:38:56Z)
• STLM Engineering Report: Dropout [4.3600359083731695]
  オーバーフィッティングシナリオでは,ドロップアウトが依然として有効であり,過剰なデータであってもモデルの適合性を改善するための何らかの関連性があることが判明した。 このプロセスでは、この性能向上の背後にあるメカニズムに関する既存の説明は、言語モデリングでは適用できないことがわかった。
  論文  参考訳（メタデータ） (2024-09-09T08:24:29Z)
• On the Embedding Collapse when Scaling up Recommendation Models [53.66285358088788]
  埋め込み崩壊現象をスケーラビリティの阻害とみなし、埋め込み行列は低次元の部分空間を占有する傾向にある。 本稿では,組込み集合固有の相互作用モジュールを組み込んで,多様性を持つ組込み集合を学習する,単純かつ効果的な組込み設計を提案する。
  論文  参考訳（メタデータ） (2023-10-06T17:50:38Z)
• A Graph-Enhanced Click Model for Web Search [67.27218481132185]
  ウェブ検索のための新しいグラフ強調クリックモデル(GraphCM)を提案する。 セッション内情報とセッション間情報の両方を、スパーシリティ問題とコールドスタート問題に活用する。
  論文  参考訳（メタデータ） (2022-06-17T08:32:43Z)
• Learning Representations of Entities and Relations [0.0]
  この論文は,リンク予測タスクに取り組むことを目的とした知識グラフ表現の改善に焦点を当てている。 最初のコントリビューションはHypERであり、リンク予測性能を単純化し改善する畳み込みモデルである。 第2のコントリビューションは比較的単純な線形モデルであるTuckERで、このモデルが導入された時点では、最先端のリンク予測性能が得られた。 第3の貢献は、双曲空間に埋め込まれた最初のマルチリレーショナルグラフ表現モデルである MuRP である。
  論文  参考訳（メタデータ） (2022-01-31T09:24:43Z)
• Leveraging Static Models for Link Prediction in Temporal Knowledge Graphs [0.0]
  我々は,時空間KGEにおいて,SpliMeが現在の最先端技術と競合するか,あるいは競争していることを示す。 時間グラフ上で静的モデルの性能を評価するために現在使われている手順の問題点を明らかにする。
  論文  参考訳（メタデータ） (2021-06-29T10:15:17Z)
• Knowledge distillation: A good teacher is patient and consistent [71.14922743774864]
  最先端のパフォーマンスを実現する大規模モデルと、実用的な用途で手頃な価格のモデルとの間には、コンピュータビジョンの相違が増えている。 蒸留の有効性に大きな影響を及ぼす可能性のある,特定の暗黙的な設計選択を同定する。 ImageNetの最先端ResNet-50モデルが82.8%の精度で実現されている。
  論文  参考訳（メタデータ） (2021-06-09T17:20:40Z)
• Modeling Object Dissimilarity for Deep Saliency Prediction [86.14710352178967]
  本稿では,複数の物体間の差分をモデル化する検出誘導サリエンシー予測ネットワークについて紹介する。 私たちのアプローチは一般的であり、深いサリエンシー予測ネットワークから抽出された特徴とオブジェクトの不類似性を融合させることができます。
  論文  参考訳（メタデータ） (2021-04-08T16:10:37Z)
• Model-Agnostic Graph Regularization for Few-Shot Learning [60.64531995451357]
  グラフ組み込み数ショット学習に関する包括的な研究を紹介します。 本稿では,ラベル間のグラフ情報の組み込みによる影響をより深く理解できるグラフ正規化手法を提案する。 提案手法は,Mini-ImageNetで最大2%,ImageNet-FSで6.7%の性能向上を実現する。
  論文  参考訳（メタデータ） (2021-02-14T05:28:13Z)
• Realistic Re-evaluation of Knowledge Graph Completion Methods: An Experimental Study [0.0]
  本論文は,埋め込みモデルの真の有効性を評価することを目的とした,最初の体系的研究である。 実験の結果、これらのモデルは以前よりもはるかに精度が低いことが分かりました。
  論文  参考訳（メタデータ） (2020-03-18T01:18:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。