論文の概要: Entity-Agnostic Representation Learning for Parameter-Efficient
Knowledge Graph Embedding
- arxiv url: http://arxiv.org/abs/2302.01849v1
- Date: Fri, 3 Feb 2023 16:49:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 15:33:03.255925
- Title: Entity-Agnostic Representation Learning for Parameter-Efficient
Knowledge Graph Embedding
- Title(参考訳): パラメータ効率のよい知識グラフ埋め込みのためのエンティティ非依存表現学習
- Authors: Mingyang Chen, Wen Zhang, Zhen Yao, Yushan Zhu, Yang Gao, Jeff Z. Pan,
Huajun Chen
- Abstract要約: 本稿では,知識グラフの埋め込みによる非効率なパラメータ記憶コストの問題に対処するエンティティに依存しない表現学習手法を提案する。
我々は、識別可能な情報をエンティティ埋め込みに変換するために、普遍的でエンティティに依存しないエンコーダを学習する。
実験の結果,EARLはパラメータが少なく,ベースラインよりもリンク予測タスクが優れていることがわかった。
- 参考スコア(独自算出の注目度): 30.7075844882004
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose an entity-agnostic representation learning method for handling the
problem of inefficient parameter storage costs brought by embedding knowledge
graphs. Conventional knowledge graph embedding methods map elements in a
knowledge graph, including entities and relations, into continuous vector
spaces by assigning them one or multiple specific embeddings (i.e., vector
representations). Thus the number of embedding parameters increases linearly as
the growth of knowledge graphs. In our proposed model, Entity-Agnostic
Representation Learning (EARL), we only learn the embeddings for a small set of
entities and refer to them as reserved entities. To obtain the embeddings for
the full set of entities, we encode their distinguishable information from
their connected relations, k-nearest reserved entities, and multi-hop
neighbors. We learn universal and entity-agnostic encoders for transforming
distinguishable information into entity embeddings. This approach allows our
proposed EARL to have a static, efficient, and lower parameter count than
conventional knowledge graph embedding methods. Experimental results show that
EARL uses fewer parameters and performs better on link prediction tasks than
baselines, reflecting its parameter efficiency.
- Abstract(参考訳): 本稿では,知識グラフ埋め込みによる非効率なパラメータ記憶コスト問題に対処するためのエンティティ非依存表現学習手法を提案する。
従来の知識グラフ埋め込み法は、エンティティや関係を含む知識グラフ内の要素を1つまたは複数の特定の埋め込み(ベクトル表現)を割り当てることで連続ベクトル空間にマッピングする。
したがって、埋め込みパラメータの数は知識グラフの成長とともに線形に増加する。
提案モデルであるEntity-Agnostic Representation Learning (EARL)では,少数のエンティティの埋め込みのみを学習し,それらを予約エンティティとして参照する。
完全集合の埋め込みを得るために、それらの識別可能な情報をそれらの連結関係、k-nearestリザーブドエンティティ、およびマルチホップ近傍と符号化する。
我々は、識別可能な情報をエンティティ埋め込みに変換するための普遍的およびエンティティ非依存のエンコーダを学習する。
このアプローチにより,従来の知識グラフ埋め込み法よりも静的,効率的,低いパラメータ数が得られる。
実験の結果,EARLはパラメータが少なく,ベースラインよりもリンク予測タスクに優れており,パラメータ効率を反映していることがわかった。
関連論文リスト
- GLaM: Fine-Tuning Large Language Models for Domain Knowledge Graph
Alignment via Neighborhood Partitioning and Generative Subgraph Encoding [42.036165354423915]
グラフ対応LAnguage Models (GLaM) を開発するためのフレームワークを紹介する。
特定のグラフに基づく知識でモデルを構築することは、構造に基づく推論のためのモデルの能力を拡張することを実証する。
論文 参考訳(メタデータ) (2024-02-09T19:53:29Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from
a Parametric Perspective [114.70886320845715]
大規模言語モデル(LLM)は本質的に、広範囲なコーパスの事前学習を通じて、パラメータ内の豊富な知識を符号化する。
本稿では,パラメトリックの観点から,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
論文 参考訳(メタデータ) (2023-10-17T17:58:34Z) - Learning Representations without Compositional Assumptions [79.12273403390311]
本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。
また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
論文 参考訳(メタデータ) (2023-05-31T10:36:10Z) - Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph
Construction [57.854498238624366]
本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。
RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
論文 参考訳(メタデータ) (2022-10-19T16:40:28Z) - Virtual Relational Knowledge Graphs for Recommendation [15.978408290522852]
全ての関連型をアイテムエンコーディングに利用することは効率的でも効果的でもないことを論じる。
まず,教師なし学習方式を用いて仮想関係グラフ(VRKG)を構築する。
また、ユーザ表現学習において、LWS機構をユーザアイコン二部グラフに適用する。
論文 参考訳(メタデータ) (2022-04-03T15:14:20Z) - Reasoning Through Memorization: Nearest Neighbor Knowledge Graph
Embeddings [29.94706167233985]
kNN-KGEは、事前訓練された言語モデルを用いた新しい知識グラフ埋め込みアプローチである。
我々は、知識ストアからのエンティティ埋め込み空間内の距離に基づいて、最も近い隣人を計算する。
論文 参考訳(メタデータ) (2022-01-14T17:35:16Z) - Why Settle for Just One? Extending EL++ Ontology Embeddings with
Many-to-Many Relationships [2.599882743586164]
知識グラフ埋め込みは、知識グラフの実体と関係の低次元表現を提供する。
この方向の最近の取り組みは、EL++と呼ばれる記述(記述のための論理論理)への埋め込みの学習である。
我々は、埋め込み表現を学習しながら、多対多の関係を考慮できる、シンプルで効果的なソリューションを提供する。
論文 参考訳(メタデータ) (2021-10-20T13:23:18Z) - Explainable Link Prediction for Emerging Entities in Knowledge Graphs [44.87285668747474]
クロスドメイン知識グラフは固有の不完全性と疎性に悩まされる。
リンク予測は、ソースエンティティとクエリ関係が与えられたターゲットエンティティを推論することで、これを緩和することができる。
本稿では,未確認なエンティティの表現を学習可能な帰納的表現学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-05-01T22:17:37Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z) - Relational Message Passing for Knowledge Graph Completion [78.47976646383222]
本稿では,知識グラフ補完のためのリレーショナルメッセージパッシング手法を提案する。
エッジ間でリレーショナルメッセージを反復的に送信し、近隣情報を集約する。
その結果,本手法は最先端の知識完成手法よりも大きなマージンで優れていることがわかった。
論文 参考訳(メタデータ) (2020-02-17T03:33:41Z) - Generative Adversarial Zero-Shot Relational Learning for Knowledge
Graphs [96.73259297063619]
我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。
新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。
我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
論文 参考訳(メタデータ) (2020-01-08T01:19:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。