論文の概要: Entity-Agnostic Representation Learning for Parameter-Efficient Knowledge Graph Embedding

• arxiv url: http://arxiv.org/abs/2302.01849v1
• Date: Fri, 3 Feb 2023 16:49:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-06 15:33:03.255925
• Title: Entity-Agnostic Representation Learning for Parameter-Efficient Knowledge Graph Embedding
• Title（参考訳）: パラメータ効率のよい知識グラフ埋め込みのためのエンティティ非依存表現学習
• Authors: Mingyang Chen, Wen Zhang, Zhen Yao, Yushan Zhu, Yang Gao, Jeff Z. Pan, Huajun Chen
• Abstract要約: 本稿では,知識グラフの埋め込みによる非効率なパラメータ記憶コストの問題に対処するエンティティに依存しない表現学習手法を提案する。 我々は、識別可能な情報をエンティティ埋め込みに変換するために、普遍的でエンティティに依存しないエンコーダを学習する。 実験の結果,EARLはパラメータが少なく,ベースラインよりもリンク予測タスクが優れていることがわかった。
• 参考スコア（独自算出の注目度）: 30.7075844882004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an entity-agnostic representation learning method for handling the problem of inefficient parameter storage costs brought by embedding knowledge graphs. Conventional knowledge graph embedding methods map elements in a knowledge graph, including entities and relations, into continuous vector spaces by assigning them one or multiple specific embeddings (i.e., vector representations). Thus the number of embedding parameters increases linearly as the growth of knowledge graphs. In our proposed model, Entity-Agnostic Representation Learning (EARL), we only learn the embeddings for a small set of entities and refer to them as reserved entities. To obtain the embeddings for the full set of entities, we encode their distinguishable information from their connected relations, k-nearest reserved entities, and multi-hop neighbors. We learn universal and entity-agnostic encoders for transforming distinguishable information into entity embeddings. This approach allows our proposed EARL to have a static, efficient, and lower parameter count than conventional knowledge graph embedding methods. Experimental results show that EARL uses fewer parameters and performs better on link prediction tasks than baselines, reflecting its parameter efficiency.
• Abstract（参考訳）: 本稿では,知識グラフ埋め込みによる非効率なパラメータ記憶コスト問題に対処するためのエンティティ非依存表現学習手法を提案する。 従来の知識グラフ埋め込み法は、エンティティや関係を含む知識グラフ内の要素を1つまたは複数の特定の埋め込み(ベクトル表現)を割り当てることで連続ベクトル空間にマッピングする。 したがって、埋め込みパラメータの数は知識グラフの成長とともに線形に増加する。 提案モデルであるEntity-Agnostic Representation Learning (EARL)では,少数のエンティティの埋め込みのみを学習し,それらを予約エンティティとして参照する。 完全集合の埋め込みを得るために、それらの識別可能な情報をそれらの連結関係、k-nearestリザーブドエンティティ、およびマルチホップ近傍と符号化する。 我々は、識別可能な情報をエンティティ埋め込みに変換するための普遍的およびエンティティ非依存のエンコーダを学習する。 このアプローチにより,従来の知識グラフ埋め込み法よりも静的,効率的,低いパラメータ数が得られる。 実験の結果,EARLはパラメータが少なく,ベースラインよりもリンク予測タスクに優れており,パラメータ効率を反映していることがわかった。

関連論文リスト

• Inference over Unseen Entities, Relations and Literals on Knowledge Graphs [1.7474352892977463]
  知識グラフ埋め込みモデルは、様々な課題に対処するために、トランスダクティブな設定でうまく適用されている。 本稿では、エンティティとリレーションのバイトペアエンコードされたサブワード単位のシーケンスから三重埋め込みを構築するための注意的バイトペアエンコーディング層(BytE)を提案する。 BytEは、知識グラフの埋め込みモデルに、エンティティやリレーションではなくサブワード単位の埋め込みを学習させるため、重み付けによる大規模な機能の再利用につながる。
  論文  参考訳（メタデータ） (2024-10-09T10:20:54Z)
• Knowledge Graph Structure as Prompt: Improving Small Language Models Capabilities for Knowledge-based Causal Discovery [10.573861741540853]
  KG Structure as Promptは、共通ノードやメタパスなどの知識グラフから構造情報を即時学習に統合するための新しいアプローチである。 バイオメディカルデータセットとオープンドメインデータセットの3種類の実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-26T14:07:00Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Learning Representations without Compositional Assumptions [79.12273403390311]
  本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。 また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
  論文  参考訳（メタデータ） (2023-05-31T10:36:10Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• Virtual Relational Knowledge Graphs for Recommendation [15.978408290522852]
  全ての関連型をアイテムエンコーディングに利用することは効率的でも効果的でもないことを論じる。 まず,教師なし学習方式を用いて仮想関係グラフ(VRKG)を構築する。 また、ユーザ表現学習において、LWS機構をユーザアイコン二部グラフに適用する。
  論文  参考訳（メタデータ） (2022-04-03T15:14:20Z)
• Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings [29.94706167233985]
  kNN-KGEは、事前訓練された言語モデルを用いた新しい知識グラフ埋め込みアプローチである。 我々は、知識ストアからのエンティティ埋め込み空間内の距離に基づいて、最も近い隣人を計算する。
  論文  参考訳（メタデータ） (2022-01-14T17:35:16Z)
• Why Settle for Just One? Extending EL++ Ontology Embeddings with Many-to-Many Relationships [2.599882743586164]
  知識グラフ埋め込みは、知識グラフの実体と関係の低次元表現を提供する。 この方向の最近の取り組みは、EL++と呼ばれる記述(記述のための論理論理)への埋め込みの学習である。 我々は、埋め込み表現を学習しながら、多対多の関係を考慮できる、シンプルで効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2021-10-20T13:23:18Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Relational Message Passing for Knowledge Graph Completion [78.47976646383222]
  本稿では,知識グラフ補完のためのリレーショナルメッセージパッシング手法を提案する。 エッジ間でリレーショナルメッセージを反復的に送信し、近隣情報を集約する。 その結果,本手法は最先端の知識完成手法よりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2020-02-17T03:33:41Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。