論文の概要: Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models

• arxiv url: http://arxiv.org/abs/2501.18119v1
• Date: Thu, 30 Jan 2025 03:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:15:31.793706
• Title: Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたシームレスな知識グラフの自己教師付き量子化表現
• Authors: Qika Lin, Tianzhe Zhao, Kai He, Zhen Peng, Fangzhi Xu, Ling Huang, Jingying Ma, Mengling Feng,
• Abstract要約: 本稿では,知識グラフと大規模言語モデルとのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するためのフレームワークを提案する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することがわかった。 微調整されたLLaMA2とLLaMA3.1は、KGリンク予測と三重分類タスクよりも優れた性能を持つ。
• 参考スコア（独自算出の注目度）: 17.88134311726175
• License:
• Abstract: Due to the presence of the natural gap between Knowledge Graph (KG) structures and the natural language, the effective integration of holistic structural information of KGs with Large Language Models (LLMs) has emerged as a significant question. To this end, we propose a two-stage framework to learn and apply quantized codes for each entity, aiming for the seamless integration of KGs with LLMs. Firstly, a self-supervised quantized representation (SSQR) method is proposed to compress both KG structural and semantic knowledge into discrete codes (\ie, tokens) that align the format of language sentences. We further design KG instruction-following data by viewing these learned codes as features to directly input to LLMs, thereby achieving seamless integration. The experiment results demonstrate that SSQR outperforms existing unsupervised quantized methods, producing more distinguishable codes. Further, the fine-tuned LLaMA2 and LLaMA3.1 also have superior performance on KG link prediction and triple classification tasks, utilizing only 16 tokens per entity instead of thousands in conventional prompting methods.
• Abstract（参考訳）: 知識グラフ(KG)構造と自然言語の間に自然のギャップがあることから,KGと大規模言語モデル(LLM)の包括的構造情報の効果的な統合が重要な問題となっている。 そこで本稿では,KGとLLMのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するための2段階のフレームワークを提案する。 まず,KGの構造的知識と意味的知識の両方を,言語文の形式を整列する離散コード(\ie, tokens)に圧縮するために,自己教師付き量子化表現(SSQR)法を提案する。 我々は、これらの学習したコードをLCMに直接入力する機能として見ることによって、KG命令追従データをさらに設計し、シームレスな統合を実現する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することが示された。 さらに、微調整されたLLaMA2とLLaMA3.1は、従来のプロンプト法では数千ではなく16個のトークンしか利用せず、KGリンク予測と3重分類タスクに優れた性能を持つ。

関連論文リスト

• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Boosting Knowledge Graph-based Recommendations through Confidence-Aware Augmentation with Large Language Models [19.28217321004791]
  大きな言語モデル(LLM)は、レコメンデーションタスクのための知識グラフの品質と関連性を改善するための有望な方法を提供する。 本稿では,KG と LLM を組み合わせた新しいフレームワークである LLM Augmentation (CKG-LLMA) を用いた Confidence-aware KG-based Recommendation Framework を提案する。 本フレームワークは,(1)高品質な情報でKGをリッチ化するためのLLMベースのサブグラフ拡張器,(2)ノイズの多い三重項をフィルタリングする信頼性に配慮したメッセージ伝搬機構,(3)ユーザ-テムインタラクションとKGデータを統合するための2視点コントラスト学習手法を含む。
  論文  参考訳（メタデータ） (2025-02-06T02:06:48Z)
• Bridge: A Unified Framework to Knowledge Graph Completion via Language Models and Knowledge Representation [14.801411392475439]
  我々は、知識グラフ(KG)の構造と意味情報を共同で符号化するブリッジと呼ばれる新しいフレームワークを提案する。 具体的には、PLMのセマンティック知識をよりよく活用するために、PLMによって個別にエンティティと関係を戦略的に符号化する。 我々は、KGとPLMのギャップを埋めるために、BYOLと呼ばれる自己教師付き表現学習法を用いて、3重の異なる2つの視点でPLMを微調整する。
  論文  参考訳（メタデータ） (2024-11-11T01:59:04Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• FedMKGC: Privacy-Preserving Federated Multilingual Knowledge Graph Completion [21.4302940596294]
  知識グラフ補完(KGC)は、知識グラフ(KG)の欠落事実を予測することを目的とする。 KG間で生データを転送することに依存する従来の方法は、プライバシー上の懸念を提起している。 我々は、生データ交換やエンティティアライメントを必要とせずに、複数のKGから暗黙的に知識を集約する新しい連合学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-17T08:09:27Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。