論文の概要: ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models

• arxiv url: http://arxiv.org/abs/2504.07624v1
• Date: Thu, 10 Apr 2025 10:17:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:23:28.253930
• Title: ConceptFormer: Towards Efficient Use of Knowledge-Graph Embeddings in Large Language Models
• Title（参考訳）: ConceptFormer: 大規模言語モデルにおける知識グラフ埋め込みの効率的な活用を目指して
• Authors: Joel Barmettler, Abraham Bernstein, Luca Rossetto,
• Abstract要約: 本稿では,Wikidataから構造化知識を付加した大規模言語モデルの拡張手法であるConceptFormerを紹介する。 ConceptFormerは、KGノードをそれぞれの概念ベクトルにマッピングする包括的なルックアップテーブルを生成する。 実験により、GPT-2 0.1Bに概念ベクトルを追加することで、実際のリコール能力(Hit@10)が最大で272%向上することが示された。
• 参考スコア（独自算出の注目度）: 6.921269206044222
• License:
• Abstract: Retrieval Augmented Generation (RAG) has enjoyed increased attention in the recent past and recent advancements in Large Language Models (LLMs) have highlighted the importance of integrating world knowledge into these systems. Current RAG methodologies often modify the internal architecture of pre-trained language models (PLMs) or rely on textifying knowledge graphs (KGs), which is inefficient in terms of token usage. This paper introduces ConceptFormer, a new approach to augment LLMs with structured knowledge from KGs, such as Wikidata, without altering their internal structure or relying on textual input of KGs. ConceptFormer operates in the LLM embedding vector space, creating and injecting \emph{concept vectors} that encapsulate the information of the KG nodes directly. Trained in conjunction with a frozen LLM, ConceptFormer generates a comprehensive lookup table that maps KG nodes to their respective concept vectors. The approach aims to enhance the factual recall capabilities of LLMs by enabling them to process these concept vectors natively, thus enriching them with structured world knowledge in an efficient and scalable manner. Our experiments demonstrate that the addition of concept vectors to GPT-2 0.1B substantially increases its factual recall ability (Hit@10) by up to 272\% when tested on sentences from Wikipedia and up to 348\% on synthetically generated sentences. Even injecting only a single concept vector into the prompt increases factual recall ability (Hit@10) by up to 213\% on Wikipedia sentences, significantly outperforming RAG with graph textification while consuming 130x fewer input tokens.
• Abstract（参考訳）: 近年,大規模言語モデル (LLM) の進歩は,これらのシステムに世界知識を統合することの重要性を強調している。 現在のRAG手法は、事前訓練された言語モデル(PLM)の内部アーキテクチャを変更したり、トークン使用率の面で非効率なテキスト化知識グラフ(KG)に依存したりすることが多い。 本稿では、WikidataなどのKGからの構造化知識を内部構造を変更したり、KGのテキスト入力に依存することなく、新たなLLMの拡張手法であるConceptFormerを紹介する。 ConceptFormer は LLM 埋め込みベクトル空間で動作し、KG ノードの情報を直接カプセル化する \emph{concept vectors} を生成して注入する。 凍結LDMと併用してトレーニングされたConceptFormerは、KGノードをそれぞれの概念ベクトルにマッピングする包括的なルックアップテーブルを生成する。 このアプローチは、これらの概念ベクトルをネイティブに処理することで、LLMの現実的なリコール能力を向上し、より効率的でスケーラブルな方法で構造化された世界知識でそれらを豊かにすることを目的としている。 GPT-2 0.1B への概念ベクトルの付加は,Wikipedia の文でテストした場合に実写リコール能力 (Hit@10) を最大で 272 %,合成文で最大 348 % 向上させることを示した。 プロンプトに1つの概念ベクトルだけを注入しても、ウィキペディアの文で213\%のファクトリコール能力(Hit@10)が増加し、130倍の入力トークンを消費しながらグラフのテキスト化でRAGを著しく上回っている。

関連論文リスト

• GLTW: Joint Improved Graph Transformer and LLM via Three-Word Language for Knowledge Graph Completion [52.026016846945424]
  我々は、KGの構造情報をエンコードし、それを大規模言語モデルにマージするGLTWと呼ばれる新しい手法を提案する。 具体的には、局所構造情報とグローバル構造情報の両方を効果的に符号化する改良されたグラフ変換器(iGT)を導入する。 また,KG内のすべてのエンティティを分類対象として用いたサブグラフに基づく多分類学習目標を開発し,学習効率を向上する。
  論文  参考訳（メタデータ） (2025-02-17T06:02:59Z)
• Self-supervised Quantized Representation for Seamlessly Integrating Knowledge Graphs with Large Language Models [17.88134311726175]
  本稿では,知識グラフと大規模言語モデルとのシームレスな統合を目指して,各エンティティの量子化符号を学習し,適用するためのフレームワークを提案する。 実験の結果、SSQRは既存の教師なしの量子化手法よりも優れており、より区別可能なコードを生成することがわかった。 微調整されたLLaMA2とLLaMA3.1は、KGリンク予測と三重分類タスクよりも優れた性能を持つ。
  論文  参考訳（メタデータ） (2025-01-30T03:40:20Z)
• Targeted Angular Reversal of Weights (TARS) for Knowledge Removal in Large Language Models [15.377534937558744]
  大規模言語モデル(LLM)から知識を除去するターゲット角反転法(TARS)を導入する。 TARS法はまず LLM と詳細なプロンプトを組み合わせることで,選択した概念に関する情報を集約する。 次に、この近似概念ベクトルを改良し、その近似概念ベクトルをノイズで摂動させることにより、高い確率で概念トークンをトリガーする。 TARS法のモジュラリティは、有名な文学探偵シャーロック・ホームズや惑星土星など、ラマ3.1の8Bから連続的に概念を除去することができる。
  論文  参考訳（メタデータ） (2024-12-13T16:26:34Z)
• Knowledge Graph-Enhanced Large Language Models via Path Selection [58.228392005755026]
  大規模言語モデル(LLM)は、様々な現実世界のアプリケーションで前例のない性能を示している。 LLMは実際に不正確な出力、すなわち幻覚の問題を発生させることが知られている。 上記の問題に対処する3段階の原理的フレームワークKELPを提案する。
  論文  参考訳（メタデータ） (2024-06-19T21:45:20Z)
• Schema First! Learn Versatile Knowledge Graph Embeddings by Capturing Semantics with MASCHInE [3.174882428337821]
  近年,知識グラフ埋め込みモデル (KGEMs) が注目されている。 本研究では,RDF/S情報を活用するKGの小型改良版であるプロトグラフを設計する。 学習されたプロトグラフベースの埋め込みは、KGのセマンティクスをカプセル化することを目的としており、KGEの学習に利用することができる。
  論文  参考訳（メタデータ） (2023-06-06T13:22:54Z)
• Harnessing Explanations: LLM-to-LM Interpreter for Enhanced Text-Attributed Graph Representation Learning [51.90524745663737]
  重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。 提案手法は、確立されたTAGデータセットの最先端結果を実現する。 本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
  論文  参考訳（メタデータ） (2023-05-31T03:18:03Z)
• KELM: Knowledge Enhanced Pre-Trained Language Representations with Message Passing on Hierarchical Relational Graphs [26.557447199727758]
  本稿では,微調整プロセスに基づく知識認識型言語モデルフレームワークを提案する。 我々のモデルは、KGからの世界知識をBERTのような既存の言語モデルに効率的に組み込むことができる。
  論文  参考訳（メタデータ） (2021-09-09T12:39:17Z)
• Knowledge-Enhanced Personalized Review Generation with Capsule Graph Neural Network [81.81662828017517]
  カプセルグラフニューラルネットワークを用いた知識強調型PRGモデル(Caps-GNN)を提案する。 我々の生成プロセスは、アスペクトシーケンス生成と文生成という2つの大きなステップを含む。 組み込まれた知識グラフは、アスペクトレベルとワードレベルの両方でユーザの好みを高めることができる。
  論文  参考訳（メタデータ） (2020-10-04T03:54:40Z)
• Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning [73.0598186896953]
  本稿では、知識グラフからのガイダンスを用いて、生テキスト上で学習する2つの自己教師型タスクを提案する。 エンティティレベルのマスキング言語モデルに基づいて、最初のコントリビューションはエンティティマスキングスキームです。 既存のパラダイムとは対照的に,本手法では事前学習時にのみ,知識グラフを暗黙的に使用する。
  論文  参考訳（メタデータ） (2020-04-29T14:22:42Z)
• Generative Adversarial Zero-shot Learning via Knowledge Graphs [32.42721467499858]
  本稿では,知識グラフ(KG)にリッチセマンティクスを組み込むことにより,KG-GANという新たな生成ZSL手法を提案する。 具体的には、グラフニューラルネットワークに基づいて、クラスビューと属性ビューの2つのビューからKGをエンコードする。 各ノードに対してよく学習されたセマンティックな埋め込み(視覚圏を表す)を用いて、GANを活用して、目に見えないクラスの魅力的な視覚的特徴を合成する。
  論文  参考訳（メタデータ） (2020-04-07T03:55:26Z)
• Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs [96.73259297063619]
  我々は、この厄介なキュレーションを解放するために、新しい定式化、ゼロショット学習を考える。 新たに追加された関係について,テキスト記述から意味的特徴を学習しようと試みる。 我々は,GAN(Generative Adrial Networks)を活用し,テキストと知識グラフ領域の接続を確立する。
  論文  参考訳（メタデータ） (2020-01-08T01:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。