論文の概要: AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM

• arxiv url: http://arxiv.org/abs/2510.17934v1
• Date: Mon, 20 Oct 2025 15:40:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.420392
• Title: AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM
• Title（参考訳）: AtlasKV: 20GB VRAMで数十億ドル規模の知識グラフを備えたLLMの拡張
• Authors: Haoyu Huang, Hong Ting Tsang, Jiaxin Bai, Xi Peng, Gong Zhang, Yangqiu Song,
• Abstract要約: 数十億の知識グラフを持つ大規模言語モデルを拡張するための,スケーラブルで効果的で汎用的な方法を提案する。 KG2KVとHiKVPはKGトリプルをLLMに統合し、サブ線形時間とメモリの複雑さを持つ。 LLM固有の注意機構を用いて、強力な知識基盤と一般化性能を維持している。
• 参考スコア（独自算出の注目度）: 60.583864162256525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) has shown some success in augmenting large language models (LLMs) with external knowledge. However, as a non-parametric knowledge integration paradigm for LLMs, RAG methods heavily rely on external retrieval modules and the retrieved textual context prior. Especially for very large scale knowledge augmentation, they would introduce substantial inference latency due to expensive searches and much longer relevant context. In this paper, we propose a parametric knowledge integration method, called \textbf{AtlasKV}, a scalable, effective, and general way to augment LLMs with billion-scale knowledge graphs (KGs) (e.g. 1B triples) using very little GPU memory cost (e.g. less than 20GB VRAM). In AtlasKV, we introduce KG2KV and HiKVP to integrate KG triples into LLMs at scale with sub-linear time and memory complexity. It maintains strong knowledge grounding and generalization performance using the LLMs' inherent attention mechanism, and requires no external retrievers, long context priors, or retraining when adapting to new knowledge.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を外部知識で拡張することに成功した。 しかし、LLMの非パラメトリック知識統合パラダイムとして、RAG法は外部検索モジュールと検索済みテキストコンテキストに大きく依存している。 特に、非常に大規模な知識向上のためには、高価な検索とはるかに長い関連するコンテキストのために、相当な推論遅延を導入するだろう。 本稿では,10億単位の知識グラフ(例えば1Bトリプル)をGPUメモリのコスト(例えば20GB VRAM未満)で拡張する,スケーラブルで効果的で汎用的な手法である「textbf{AtlasKV}」というパラメトリック知識統合手法を提案する。 AtlasKV では KG トリプルを LLM に統合するために KG2KV と HiKVP を導入する。 LLMの固有の注意機構を使用して、強力な知識基盤と一般化性能を維持し、新しい知識に適応する際に、外部のレトリバー、長い文脈の事前、あるいは再訓練を必要としない。

関連論文リスト

• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation on Large Language Models [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• LightPROF: A Lightweight Reasoning Framework for Large Language Model on Knowledge Graph [57.382255728234064]
  大きな言語モデル(LLM)は、テキスト理解とゼロショット推論において素晴らしい能力を持っている。 知識グラフ(KG)は、LLMの推論プロセスに対して、リッチで信頼性の高いコンテキスト情報を提供する。 我々は、KGQA(LightPROF)のための新しい軽量で効率的なPrompt Learning-ReasOning Frameworkを提案する。
  論文  参考訳（メタデータ） (2025-04-04T03:03:47Z)
• Parametric Retrieval Augmented Generation [32.29608109539912]
  Parametric RAGは、外部知識を直接フィードフォワードネットワークのパラメータに統合する新しいRAGパラダイムである。 これは、大きな言語モデルにおける知識増強の有効性と効率を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-01-27T10:04:49Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
  検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す 本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。 提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-06-24T07:17:59Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• Context Matters: Pushing the Boundaries of Open-Ended Answer Generation with Graph-Structured Knowledge Context [4.1229332722825]
  本稿では,知識グラフに基づく拡張と合わせて,グラフ駆動型コンテキスト検索を組み合わせた新しいフレームワークを提案する。 我々は,様々なパラメータサイズを持つ大規模言語モデル(LLM)の実験を行い,知識の基盤化能力を評価し,オープンな質問に対する回答の事実的正確性を決定する。 われわれの方法であるGraphContextGenは、テキストベースの検索システムよりも一貫して優れており、その堅牢性と多くのユースケースへの適応性を実証している。
  論文  参考訳（メタデータ） (2024-01-23T11:25:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。