論文の概要: Contextualization Distillation from Large Language Model for Knowledge
Graph Completion
- arxiv url: http://arxiv.org/abs/2402.01729v3
- Date: Sat, 24 Feb 2024 07:01:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:39:27.026724
- Title: Contextualization Distillation from Large Language Model for Knowledge
Graph Completion
- Title(参考訳): 知識グラフ完成のための大規模言語モデルからの文脈化蒸留
- Authors: Dawei Li, Zhen Tan, Tianlong Chen, Huan Liu
- Abstract要約: 我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。
提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。
多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
- 参考スコア(独自算出の注目度): 51.126166442122546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While textual information significantly enhances the performance of
pre-trained language models (PLMs) in knowledge graph completion (KGC), the
static and noisy nature of existing corpora collected from Wikipedia articles
or synsets definitions often limits the potential of PLM-based KGC models. To
surmount these challenges, we introduce the Contextualization Distillation
strategy, a versatile plug-in-and-play approach compatible with both
discriminative and generative KGC frameworks. Our method begins by instructing
large language models (LLMs) to transform compact, structural triplets into
context-rich segments. Subsequently, we introduce two tailored auxiliary tasks,
reconstruction and contextualization, allowing smaller KGC models to assimilate
insights from these enriched triplets. Comprehensive evaluations across diverse
datasets and KGC techniques highlight the efficacy and adaptability of our
approach, revealing consistent performance enhancements irrespective of
underlying pipelines or architectures. Moreover, our analysis makes our method
more explainable and provides insight into generating path selection, as well
as the choosing of suitable distillation tasks. All the code and data in this
work will be released at
https://github.com/David-Li0406/Contextulization-Distillation
- Abstract(参考訳): テキスト情報は知識グラフ補完(KGC)における事前学習言語モデル(PLM)の性能を大幅に向上させるが、ウィキペディアの記事やシンセット定義から収集された既存のコーパスの静的でノイズの多い性質は、しばしばPLMベースのKGCモデルの可能性を制限する。
これらの課題を克服するため,我々は,多彩なプラグイン・アンド・プレイアプローチであるコンテクスト化蒸留戦略を紹介する。
提案手法は,大規模言語モデル(llm)にコンパクトな構造的三重項をコンテキストリッチセグメントに変換するよう指示することから始まる。
次に,これらの強化三重項から得られた洞察を,より小さなkgcモデルで同一化できるように,復元と文脈化という2つの補助タスクを導入する。
さまざまなデータセットとKGCテクニックにわたる包括的な評価は、アプローチの有効性と適応性を強調し、基盤となるパイプラインやアーキテクチャに関係なく、一貫したパフォーマンス向上を明らかにします。
さらに,本解析により,より説明しやすくなり,経路選択や適切な蒸留タスクの選択に関する知見が得られる。
この作業のコードとデータは、https://github.com/David-Li0406/Contextulization-Distillationで公開される。
関連論文リスト
- Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [39.4203349659232]
本稿では,知識グラフにおけるマルチホップリンク予測を強化するために,知識グラフ大言語モデルフレームワーク(KG-LLM)を提案する。
知識グラフをチェーン・オブ・シークレットのプロンプトに変換することで、我々のフレームワークは、エンティティの潜在表現とその相互関係を識別し、学習するように設計されている。
論文 参考訳(メタデータ) (2024-03-12T04:47:29Z) - Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - KICGPT: Large Language Model with Knowledge in Context for Knowledge
Graph Completion [27.405080941584533]
本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。
追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。
ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
論文 参考訳(メタデータ) (2024-02-04T08:01:07Z) - Bidirectional Trained Tree-Structured Decoder for Handwritten
Mathematical Expression Recognition [51.66383337087724]
Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。
近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。
本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
論文 参考訳(メタデータ) (2023-12-31T09:24:21Z) - Unifying Structure and Language Semantic for Efficient Contrastive
Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。
本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
論文 参考訳(メタデータ) (2023-11-07T11:17:55Z) - Structure-CLIP: Towards Scene Graph Knowledge to Enhance Multi-modal
Structured Representations [70.41385310930846]
マルチモーダルな構造表現を強化するためのエンドツーエンドフレームワークであるStructure-CLIPを提案する。
シーングラフを用いてセマンティックなネガティブな例の構築をガイドし、その結果、構造化された表現の学習に重点を置いている。
知識エンハンス(KEE)は、SGKを入力として活用し、構造化表現をさらに強化するために提案される。
論文 参考訳(メタデータ) (2023-05-06T03:57:05Z) - Joint Language Semantic and Structure Embedding for Knowledge Graph
Completion [66.15933600765835]
本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。
本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。
各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
論文 参考訳(メタデータ) (2022-09-19T02:41:02Z) - VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure
Knowledge on Sparse Knowledge Graph Completion [14.537509860565706]
本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。
具体的には、モデルによって得られた知識を2つの非重複部分に分割する。
また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
論文 参考訳(メタデータ) (2022-07-04T15:50:21Z) - Exploiting Structured Knowledge in Text via Graph-Guided Representation
Learning [73.0598186896953]
本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。
エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。
既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
論文 参考訳(メタデータ) (2020-04-29T14:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。