論文の概要: Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models

• arxiv url: http://arxiv.org/abs/2501.18119v1
• Date: Thu, 30 Jan 2025 03:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:15:31.793706
• Title: Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたシームレスな知識グラフの自己教師付き量子化表現
• Authors: Qika Lin, Tianzhe Zhao, Kai He, Zhen Peng, Fangzhi Xu, Ling Huang, Jingying Ma, Mengling Feng,
• Abstract要約: 本稿では,知識グラフと大規模言語モデルとのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するためのフレームワークを提案する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することがわかった。 微調整されたLLaMA2とLLaMA3.1は、KGリンク予測と三重分類タスクよりも優れた性能を持つ。
• 参考スコア（独自算出の注目度）: 17.88134311726175
• License:
• Abstract: Due to the presence of the natural gap between Knowledge Graph (KG) structures and the natural language, the effective integration of holistic structural information of KGs with Large Language Models (LLMs) has emerged as a significant question. To this end, we propose a two-stage framework to learn and apply quantized codes for each entity, aiming for the seamless integration of KGs with LLMs. Firstly, a self-supervised quantized representation (SSQR) method is proposed to compress both KG structural and semantic knowledge into discrete codes (\ie, tokens) that align the format of language sentences. We further design KG instruction-following data by viewing these learned codes as features to directly input to LLMs, thereby achieving seamless integration. The experiment results demonstrate that SSQR outperforms existing unsupervised quantized methods, producing more distinguishable codes. Further, the fine-tuned LLaMA2 and LLaMA3.1 also have superior performance on KG link prediction and triple classification tasks, utilizing only 16 tokens per entity instead of thousands in conventional prompting methods.
• Abstract（参考訳）: 知識グラフ(KG)構造と自然言語の間に自然のギャップがあることから,KGと大規模言語モデル(LLM)の包括的構造情報の効果的な統合が重要な問題となっている。 そこで本稿では,KGとLLMのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するための2段階のフレームワークを提案する。 まず,KGの構造的知識と意味的知識の両方を,言語文の形式を整列する離散コード(\ie, tokens)に圧縮するために,自己教師付き量子化表現(SSQR)法を提案する。 我々は、これらの学習したコードをLCMに直接入力する機能として見ることによって、KG命令追従データをさらに設計し、シームレスな統合を実現する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することが示された。 さらに、微調整されたLLaMA2とLLaMA3.1は、従来のプロンプト法では数千ではなく16個のトークンしか利用せず、KGリンク予測と3重分類タスクに優れた性能を持つ。

関連論文リスト

• Bridge: A Unified Framework to Knowledge Graph Completion via Language Models and Knowledge Representation [14.801411392475439]
  我々は、知識グラフ(KG)の構造と意味情報を共同で符号化するブリッジと呼ばれる新しいフレームワークを提案する。 具体的には、PLMのセマンティック知識をよりよく活用するために、PLMによって個別にエンティティと関係を戦略的に符号化する。 我々は、KGとPLMのギャップを埋めるために、BYOLと呼ばれる自己教師付き表現学習法を用いて、3重の異なる2つの視点でPLMを微調整する。
  論文  参考訳（メタデータ） (2024-11-11T01:59:04Z)
• Decoding on Graphs: Faithful and Sound Reasoning on Knowledge Graphs through Generation of Well-Formed Chains [66.55612528039894]
  知識グラフ(KG)は質問応答(QA)のための信頼できる知識ソースとして機能する。 我々は、LLMとKGの深い相乗効果を促進する新しいフレームワークであるDoG(Decoding on Graphs)を提案する。 様々なKGQAタスクに対して異なるバックグラウンドKGを用いた実験により、DoGが優れた、堅牢なパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-24T04:01:40Z)
• Comprehending Knowledge Graphs with Large Language Models for Recommender Systems [13.270018897057293]
  本稿では,知識認識のための大規模言語モデルを活用したCoLaKGという新しい手法を提案する。 まず、KG から各項目を中心とする部分グラフを抽出し、それらを LLM のテキスト入力に変換する。 LLMはこれらの項目中心のサブグラフの理解を出力し、その後セマンティック埋め込みに変換する。
  論文  参考訳（メタデータ） (2024-10-16T04:44:34Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Generate-on-Graph: Treat LLM as both Agent and KG in Incomplete Knowledge Graph Question Answering [87.67177556994525]
  我々は、知識グラフ(KG)を探索しながら、新しい実写トリプルを生成する、Generate-on-Graph(GoG)と呼ばれる学習自由な手法を提案する。 GoGはIKGQAでLLMをエージェントとKGの両方として扱うThinking-Searching-Generatingフレームワークを通じて推論を行う。
  論文  参考訳（メタデータ） (2024-04-23T04:47:22Z)
• Knowledge Graph Large Language Model (KG-LLM) for Link Prediction [43.55117421485917]
  本稿では,知識グラフタスクに大規模言語モデル(LLM)を活用する新しいフレームワークである知識グラフ大言語モデル(KG-LLM)を紹介する。 まず、構造化知識グラフデータを自然言語に変換し、次にこれらの自然言語プロンプトを微調整 LLM に変換する。 KG-LLMフレームワークの有効性を示すため,Flan-T5,LLaMa2,Gemmaの3つのLLMを微調整した。
  論文  参考訳（メタデータ） (2024-03-12T04:47:29Z)
• Large Language Models Can Better Understand Knowledge Graphs Than We Thought [13.336418752729987]
  大規模言語モデル(LLM)の処理と知識グラフ(KG)の解釈について検討する。 リテラルレベルでは、様々な入力形式に対するLLMの好みを明らかにする。 注意分布レベルでは、これらの嗜好を駆動するメカニズムについて論じる。
  論文  参考訳（メタデータ） (2024-02-18T10:44:03Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Unifying Large Language Models and Knowledge Graphs: A Roadmap [61.824618473293725]
  大規模言語モデル(LLM)は、自然言語処理と人工知能の分野で新たな波を発生させている。 知識グラフ(KG)、ウィキペディア、フアプ(英語版)は、豊富な事実知識を明示的に記憶する構造化された知識モデルである。
  論文  参考訳（メタデータ） (2023-06-14T07:15:26Z)
• Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models [42.38563175680914]
  本稿では,知識グラフ(KG)の事実を記述した自然言語テキストの自動生成方法について検討する。 数ショットの設定を考えると、言語理解と生成において事前学習された言語モデル(PLM)の優れた能力を利用する。
  論文  参考訳（メタデータ） (2021-06-03T06:48:00Z)
• Cross-lingual Entity Alignment with Incidental Supervision [76.66793175159192]
  本稿では,多言語KGとテキストコーパスを共通埋め込み方式で共同で表現する,偶発的に教師付きモデルであるJEANSを提案する。 ベンチマークデータセットの実験では、JEANSがエンティティアライメントとインシデントインシデントインシデントインスペクションの改善を期待できる結果となった。
  論文  参考訳（メタデータ） (2020-05-01T01:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。