論文の概要: KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities

• arxiv url: http://arxiv.org/abs/2507.07695v1
• Date: Thu, 10 Jul 2025 12:19:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-11 16:40:15.391316
• Title: KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities
• Title（参考訳）: KeyKnowledgeRAG (K^2RAG): LLM質問応答能力向上のための拡張RAG法
• Authors: Hruday Markondapatnaikuni, Basem Suleiman, Abdelkarim Erradi, Shijing Chen,
• Abstract要約: KeyKnowledgeRAG (K2RAG)は、RAG実装の制限を克服するために設計された新しいフレームワークである。 厳密でスパースなベクトル探索、知識グラフ、テキスト要約を統合して、検索品質とシステム効率を向上させる。 K2RAGは平均回答類似度スコア0.57を達成し、第3位Q3類似度0.82を達成した。
• 参考スコア（独自算出の注目度）: 2.4874078867686085
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Fine-tuning is an immensely resource-intensive process when retraining Large Language Models (LLMs) to incorporate a larger body of knowledge. Although many fine-tuning techniques have been developed to reduce the time and computational cost involved, the challenge persists as LLMs continue to grow in size and complexity. To address this, a new approach to knowledge expansion in LLMs is needed. Retrieval-Augmented Generation (RAG) offers one such alternative by storing external knowledge in a database and retrieving relevant chunks to support question answering. However, naive implementations of RAG face significant limitations in scalability and answer accuracy. This paper introduces KeyKnowledgeRAG (K2RAG), a novel framework designed to overcome these limitations. Inspired by the divide-and-conquer paradigm, K2RAG integrates dense and sparse vector search, knowledge graphs, and text summarization to improve retrieval quality and system efficiency. The framework also includes a preprocessing step that summarizes the training data, significantly reducing the training time. K2RAG was evaluated using the MultiHopRAG dataset, where the proposed pipeline was trained on the document corpus and tested on a separate evaluation set. Results demonstrated notable improvements over common naive RAG implementations. K2RAG achieved the highest mean answer similarity score of 0.57, and reached the highest third quartile (Q3) similarity of 0.82, indicating better alignment with ground-truth answers. In addition to improved accuracy, the framework proved highly efficient. The summarization step reduced the average training time of individual components by 93%, and execution speed was up to 40% faster than traditional knowledge graph-based RAG systems. K2RAG also demonstrated superior scalability, requiring three times less VRAM than several naive RAG implementations tested in this study.
• Abstract（参考訳）: ファインチューニング(英: Fine-tuning)は、大きな言語モデル(LLM)をトレーニングし、より大きな知識を組み込む際に、非常にリソース集約的なプロセスである。 時間と計算コストを削減するために多くの微調整技術が開発されているが、LLMがサイズと複雑さを増し続けているため、この課題は続いている。 この問題に対処するためには,LLMにおける知識拡張への新たなアプローチが必要である。 Retrieval-Augmented Generation (RAG)は、データベースに外部知識を格納し、質問応答をサポートするために関連するチャンクを取得することで、そのような方法を提供する。 しかし、RAGの実装はスケーラビリティと解答精度に重大な制限に直面している。 本稿では,これらの制約を克服するための新しいフレームワークであるKeyKnowledgeRAG(K2RAG)を紹介する。 K2RAGは分割・分散のパラダイムにインスパイアされ、高密度でスパースなベクトル探索、知識グラフ、テキスト要約を統合して、検索品質とシステム効率を向上させる。 フレームワークには、トレーニングデータを要約する前処理ステップも含まれており、トレーニング時間を著しく短縮する。 K2RAGはMultiHopRAGデータセットを用いて評価され、提案したパイプラインは文書コーパス上でトレーニングされ、別の評価セットでテストされた。 その結果、一般的なRAG実装よりも顕著な改善が見られた。 K2RAGは平均回答類似度スコア0.57を達成し、第3位Q3類似度0.82を達成した。 精度の向上に加えて、このフレームワークは極めて効率的であることが判明した。 要約では、個々のコンポーネントの平均トレーニング時間を93%削減し、実行速度は従来の知識グラフベースのRAGシステムよりも40%速くなった。 K2RAGはスケーラビリティも優れており、本研究でテストされたいくつかの単純RAG実装の3倍のVRAMを必要とする。

関連論文リスト

• RAG in the Wild: On the (In)effectiveness of LLMs with Mixture-of-Knowledge Retrieval Augmentation [45.679455112940175]
  Retrieval-augmented Generation (RAG)は、推論時に取得した外部知識を統合することにより、大規模言語モデル(LLM)を強化する。 我々は,知識の混合を伴う大規模データストアであるMassiveDSを用いてRAGシステムを評価し,限界点を特定した。
  論文  参考訳（メタデータ） (2025-07-26T20:57:24Z)
• Clue-RAG: Towards Accurate and Cost-Efficient Graph-based RAG via Multi-Partite Graph and Query-Driven Iterative Retrieval [7.542076325904203]
  Retrieval-Augmented Generation (RAG) は、しばしばグラフ構造化データから外部情報を統合することで制限に対処する。 本稿では,マルチパーティグラフインデックスとクエリ駆動反復検索戦略を導入した新しいアプローチであるClue-RAGを提案する。 3つのQAベンチマークの実験により、Clue-RAGは最先端のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2025-07-11T09:36:45Z)
• Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering [75.12322966980003]
  大規模言語モデル(LLM)は、様々な領域にわたって強い帰納的推論能力を示している。 既存のRAGパイプラインのほとんどは非構造化テキストに依存しており、解釈可能性と構造化推論を制限する。 近年,知識グラフ解答のための知識グラフとLLMの統合について検討している。 KGQAにおける効率的なグラフ検索のための新しいフレームワークであるRAPLを提案する。
  論文  参考訳（メタデータ） (2025-06-11T12:03:52Z)
• FB-RAG: Improving RAG with Forward and Backward Lookup [4.961899585180462]
  Forward-Backward RAG (FB-RAG) は、単純だが強力で前向きな戦略に基づいた、新しいトレーニングフリーフレームワークである。 FB-RAGは9つのデータセットで一貫して強力な結果を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:31:52Z)
• Accelerating Adaptive Retrieval Augmented Generation via Instruction-Driven Representation Reduction of Retrieval Overlaps [16.84310001807895]
  本稿では,A-RAG法に適用可能なモデルに依存しないアプローチを提案する。 具体的には、キャッシュアクセスと並列生成を使用して、それぞれプリフィルとデコードステージを高速化する。
  論文  参考訳（メタデータ） (2025-05-19T05:39:38Z)
• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
  本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。 SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。 近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• RAGO: Systematic Performance Optimization for Retrieval-Augmented Generation Serving [9.962031642362813]
  Retrieval-augmented Generation (RAG) は、信頼性LLMサービスに対する一般的なアプローチとして現れつつある。 RAGは、幅広いRAGアルゴリズムをキャプチャする構造化された抽象化である。 RAGOは、効率的なRAGサービスのためのシステム最適化フレームワークである。
  論文  参考訳（メタデータ） (2025-03-18T18:58:13Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation [60.04380907045708]
  Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。 MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• RAGLAB: A Modular and Research-Oriented Unified Framework for Retrieval-Augmented Generation [54.707460684650584]
  大きな言語モデル(LLM)は対話、推論、知識保持における人間レベルの能力を示す。 現在の研究は、LLMに外部知識を組み込むことによって、このボトルネックに対処している。 RAGLABはモジュール的で研究指向のオープンソースライブラリで、6つの既存のアルゴリズムを再現し、RAGアルゴリズムを調査するための包括的なエコシステムを提供する。
  論文  参考訳（メタデータ） (2024-08-21T07:20:48Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
  大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。 Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-18T07:47:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。