論文の概要: KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities
- arxiv url: http://arxiv.org/abs/2507.07695v1
- Date: Thu, 10 Jul 2025 12:19:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-11 16:40:15.391316
- Title: KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities
- Title(参考訳): KeyKnowledgeRAG (K^2RAG): LLM質問応答能力向上のための拡張RAG法
- Authors: Hruday Markondapatnaikuni, Basem Suleiman, Abdelkarim Erradi, Shijing Chen,
- Abstract要約: KeyKnowledgeRAG (K2RAG)は、RAG実装の制限を克服するために設計された新しいフレームワークである。
厳密でスパースなベクトル探索、知識グラフ、テキスト要約を統合して、検索品質とシステム効率を向上させる。
K2RAGは平均回答類似度スコア0.57を達成し、第3位Q3類似度0.82を達成した。
- 参考スコア(独自算出の注目度): 2.4874078867686085
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Fine-tuning is an immensely resource-intensive process when retraining Large Language Models (LLMs) to incorporate a larger body of knowledge. Although many fine-tuning techniques have been developed to reduce the time and computational cost involved, the challenge persists as LLMs continue to grow in size and complexity. To address this, a new approach to knowledge expansion in LLMs is needed. Retrieval-Augmented Generation (RAG) offers one such alternative by storing external knowledge in a database and retrieving relevant chunks to support question answering. However, naive implementations of RAG face significant limitations in scalability and answer accuracy. This paper introduces KeyKnowledgeRAG (K2RAG), a novel framework designed to overcome these limitations. Inspired by the divide-and-conquer paradigm, K2RAG integrates dense and sparse vector search, knowledge graphs, and text summarization to improve retrieval quality and system efficiency. The framework also includes a preprocessing step that summarizes the training data, significantly reducing the training time. K2RAG was evaluated using the MultiHopRAG dataset, where the proposed pipeline was trained on the document corpus and tested on a separate evaluation set. Results demonstrated notable improvements over common naive RAG implementations. K2RAG achieved the highest mean answer similarity score of 0.57, and reached the highest third quartile (Q3) similarity of 0.82, indicating better alignment with ground-truth answers. In addition to improved accuracy, the framework proved highly efficient. The summarization step reduced the average training time of individual components by 93%, and execution speed was up to 40% faster than traditional knowledge graph-based RAG systems. K2RAG also demonstrated superior scalability, requiring three times less VRAM than several naive RAG implementations tested in this study.
- Abstract(参考訳): ファインチューニング(英: Fine-tuning)は、大きな言語モデル(LLM)をトレーニングし、より大きな知識を組み込む際に、非常にリソース集約的なプロセスである。
時間と計算コストを削減するために多くの微調整技術が開発されているが、LLMがサイズと複雑さを増し続けているため、この課題は続いている。
この問題に対処するためには,LLMにおける知識拡張への新たなアプローチが必要である。
Retrieval-Augmented Generation (RAG)は、データベースに外部知識を格納し、質問応答をサポートするために関連するチャンクを取得することで、そのような方法を提供する。
しかし、RAGの実装はスケーラビリティと解答精度に重大な制限に直面している。
本稿では,これらの制約を克服するための新しいフレームワークであるKeyKnowledgeRAG(K2RAG)を紹介する。
K2RAGは分割・分散のパラダイムにインスパイアされ、高密度でスパースなベクトル探索、知識グラフ、テキスト要約を統合して、検索品質とシステム効率を向上させる。
フレームワークには、トレーニングデータを要約する前処理ステップも含まれており、トレーニング時間を著しく短縮する。
K2RAGはMultiHopRAGデータセットを用いて評価され、提案したパイプラインは文書コーパス上でトレーニングされ、別の評価セットでテストされた。
その結果、一般的なRAG実装よりも顕著な改善が見られた。
K2RAGは平均回答類似度スコア0.57を達成し、第3位Q3類似度0.82を達成した。
精度の向上に加えて、このフレームワークは極めて効率的であることが判明した。
要約では、個々のコンポーネントの平均トレーニング時間を93%削減し、実行速度は従来の知識グラフベースのRAGシステムよりも40%速くなった。
K2RAGはスケーラビリティも優れており、本研究でテストされたいくつかの単純RAG実装の3倍のVRAMを必要とする。
関連論文リスト
- Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。
既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。
近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。
KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
論文 参考訳(メタデータ) (2025-06-11T12:03:52Z) - Accelerating Adaptive Retrieval Augmented Generation via Instruction-Driven Representation Reduction of Retrieval Overlaps [16.84310001807895]
本稿では,A-RAG法に適用可能なモデルに依存しないアプローチを提案する。
具体的には、キャッシュアクセスと並列生成を使用して、それぞれプリフィルとデコードステージを高速化する。
論文 参考訳(メタデータ) (2025-05-19T05:39:38Z) - RAGO: Systematic Performance Optimization for Retrieval-Augmented Generation Serving [9.962031642362813]
Retrieval-augmented Generation (RAG) は、信頼性LLMサービスに対する一般的なアプローチとして現れつつある。
RAGは、幅広いRAGアルゴリズムをキャプチャする構造化された抽象化である。
RAGOは、効率的なRAGサービスのためのシステム最適化フレームワークである。
論文 参考訳(メタデータ) (2025-03-18T18:58:13Z) - Chain-of-Retrieval Augmented Generation [72.06205327186069]
本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。
提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
論文 参考訳(メタデータ) (2025-01-24T09:12:52Z) - RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。
現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。
RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
論文 参考訳(メタデータ) (2024-08-21T07:20:48Z) - Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。
提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。
PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
論文 参考訳(メタデータ) (2024-07-11T06:50:19Z) - Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。
Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
論文 参考訳(メタデータ) (2023-12-18T07:47:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。