論文の概要: Contextualization Distillation from Large Language Model for Knowledge Graph Completion

• arxiv url: http://arxiv.org/abs/2402.01729v3
• Date: Sat, 24 Feb 2024 07:01:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-27 18:39:27.026724
• Title: Contextualization Distillation from Large Language Model for Knowledge Graph Completion
• Title（参考訳）: 知識グラフ完成のための大規模言語モデルからの文脈化蒸留
• Authors: Dawei Li, Zhen Tan, Tianlong Chen, Huan Liu
• Abstract要約: 我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
• 参考スコア（独自算出の注目度）: 51.126166442122546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While textual information significantly enhances the performance of pre-trained language models (PLMs) in knowledge graph completion (KGC), the static and noisy nature of existing corpora collected from Wikipedia articles or synsets definitions often limits the potential of PLM-based KGC models. To surmount these challenges, we introduce the Contextualization Distillation strategy, a versatile plug-in-and-play approach compatible with both discriminative and generative KGC frameworks. Our method begins by instructing large language models (LLMs) to transform compact, structural triplets into context-rich segments. Subsequently, we introduce two tailored auxiliary tasks, reconstruction and contextualization, allowing smaller KGC models to assimilate insights from these enriched triplets. Comprehensive evaluations across diverse datasets and KGC techniques highlight the efficacy and adaptability of our approach, revealing consistent performance enhancements irrespective of underlying pipelines or architectures. Moreover, our analysis makes our method more explainable and provides insight into generating path selection, as well as the choosing of suitable distillation tasks. All the code and data in this work will be released at https://github.com/David-Li0406/Contextulization-Distillation
• Abstract（参考訳）: テキスト情報は知識グラフ補完(KGC)における事前学習言語モデル(PLM)の性能を大幅に向上させるが、ウィキペディアの記事やシンセット定義から収集された既存のコーパスの静的でノイズの多い性質は、しばしばPLMベースのKGCモデルの可能性を制限する。 これらの課題を克服するため,我々は,多彩なプラグイン・アンド・プレイアプローチであるコンテクスト化蒸留戦略を紹介する。 提案手法は,大規模言語モデル(llm)にコンパクトな構造的三重項をコンテキストリッチセグメントに変換するよう指示することから始まる。 次に,これらの強化三重項から得られた洞察を,より小さなkgcモデルで同一化できるように,復元と文脈化という2つの補助タスクを導入する。 さまざまなデータセットとKGCテクニックにわたる包括的な評価は、アプローチの有効性と適応性を強調し、基盤となるパイプラインやアーキテクチャに関係なく、一貫したパフォーマンス向上を明らかにします。 さらに,本解析により,より説明しやすくなり,経路選択や適切な蒸留タスクの選択に関する知見が得られる。 この作業のコードとデータは、https://github.com/David-Li0406/Contextulization-Distillationで公開される。

関連論文リスト

• Deep Sparse Latent Feature Models for Knowledge Graph Completion [24.342670268545085]
  本稿では,知識グラフのためのスパース潜在特徴モデルの新たなフレームワークを提案する。 我々のアプローチは、欠落した三重項を効果的に完成するだけでなく、潜伏構造の明確な解釈可能性も提供する。 提案手法は,潜在コミュニティを明らかにし,解釈可能な表現を生成することにより,性能を著しく向上させる。
  論文  参考訳（メタデータ） (2024-11-24T03:17:37Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Multi-perspective Improvement of Knowledge Graph Completion with Large Language Models [95.31941227776711]
  我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。 我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
  論文  参考訳（メタデータ） (2024-03-04T12:16:15Z)
• Learning to Extract Structured Entities Using Language Models [52.281701191329]
  機械学習の最近の進歩は、情報抽出の分野に大きな影響を与えている。 タスクをエンティティ中心にすることで、さまざまなメトリクスの使用を可能にします。 我々は、Structured Entity extractを導入し、Adroximate Entity Set OverlaPメトリックを提案し、この分野にコントリビュートします。
  論文  参考訳（メタデータ） (2024-02-06T22:15:09Z)
• KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion [27.405080941584533]
  本稿では,大規模言語モデルと3次元KGCレトリバーを統合したフレームワークKICGPTを提案する。 追加のトレーニングオーバーヘッドを発生させることなく、長い尾の問題を軽減する。 ベンチマークデータセットの実証結果は、KICGPTの有効性を示し、トレーニングオーバーヘッドは小さく、微調整は行わない。
  論文  参考訳（メタデータ） (2024-02-04T08:01:07Z)
• Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
  Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。 近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。 本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:21Z)
• Unifying Structure and Language Semantic for Efficient Contrastive Knowledge Graph Completion with Structured Entity Anchors [0.3913403111891026]
  知識グラフ補完(KGC)の目標は、すでに知られている訓練された事実を用いて、KGの欠落したリンクを予測することである。 本稿では,帰納的推論の力を失うことなく,構造情報と言語意味を効果的に統一する手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T11:17:55Z)
• Enhancing Text-based Knowledge Graph Completion with Zero-Shot Large Language Models: A Focus on Semantic Enhancement [8.472388165833292]
  KGC(CP-KGC)のための制約付きプロンプトというフレームワークを導入する。 このフレームワークは、セマンティック・リッチネスを高めるために、異なるデータセットに適応するプロンプトを設計する。 本研究は,既存のモデルの性能限界を拡張し,KGCと大規模言語モデルとのさらなる統合を促進する。
  論文  参考訳（メタデータ） (2023-10-12T12:31:23Z)
• VEM$^2$L: A Plug-and-play Framework for Fusing Text and Structure Knowledge on Sparse Knowledge Graph Completion [14.537509860565706]
  本稿では,テキストから抽出した知識と構造化メッセージから抽出した知識を統一化するための,スパース知識グラフ上のプラグイン・アンド・プレイ・フレームワーク VEM2L を提案する。 具体的には、モデルによって得られた知識を2つの非重複部分に分割する。 また、モデルの一般化能力を融合させるために、変分EMアルゴリズムによって証明された新しい融合戦略を提案する。
  論文  参考訳（メタデータ） (2022-07-04T15:50:21Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。