論文の概要: Clustered Retrieved Augmented Generation (CRAG)

• arxiv url: http://arxiv.org/abs/2406.00029v1
• Date: Fri, 24 May 2024 16:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 16:09:32.344588
• Title: Clustered Retrieved Augmented Generation (CRAG)
• Title（参考訳）: Clustered Retrieved Augmented Generation (CRAG)
• Authors: Simon Akesson, Frances A. Santos,
• Abstract要約: 生成した応答の質を劣化させることなく、トークンのプロンプト数を削減できるCRAGを提案する。 CRAGはトークン数を少なくとも46%減らし,RAGと比較して90%以上を達成できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing external knowledge to Large Language Models (LLMs) is a key point for using these models in real-world applications for several reasons, such as incorporating up-to-date content in a real-time manner, providing access to domain-specific knowledge, and contributing to hallucination prevention. The vector database-based Retrieval Augmented Generation (RAG) approach has been widely adopted to this end. Thus, any part of external knowledge can be retrieved and provided to some LLM as the input context. Despite RAG approach's success, it still might be unfeasible for some applications, because the context retrieved can demand a longer context window than the size supported by LLM. Even when the context retrieved fits into the context window size, the number of tokens might be expressive and, consequently, impact costs and processing time, becoming impractical for most applications. To address these, we propose CRAG, a novel approach able to effectively reduce the number of prompting tokens without degrading the quality of the response generated compared to a solution using RAG. Through our experiments, we show that CRAG can reduce the number of tokens by at least 46\%, achieving more than 90\% in some cases, compared to RAG. Moreover, the number of tokens with CRAG does not increase considerably when the number of reviews analyzed is higher, unlike RAG, where the number of tokens is almost 9x higher when there are 75 reviews compared to 4 reviews.
• Abstract（参考訳）: LLM(Large Language Models)への外部知識の提供は、リアルタイムに最新のコンテンツを組み込むこと、ドメイン固有の知識へのアクセスを提供すること、幻覚予防に寄与することなど、いくつかの理由から、これらのモデルを現実のアプリケーションで使用する上で重要なポイントである。 ベクトルデータベースに基づくRetrieval Augmented Generation (RAG)アプローチはこの目的に広く採用されている。 これにより、外部知識の任意の部分を検索し、入力コンテキストとしてLLMに供給することができる。 RAGアプローチの成功にもかかわらず、検索されたコンテキストはLLMがサポートするサイズよりも長いコンテキストウィンドウを必要とするため、いくつかのアプリケーションではまだ実現不可能である。 検索されたコンテキストがコンテキストウィンドウのサイズに適合しても、トークンの数は表現力があり、その結果、コストと処理時間に影響し、ほとんどのアプリケーションでは実用的ではない。 そこで本研究では,RAGを用いたソリューションと比較して,応答の質を劣化させることなく,トークンのプロンプト数を効果的に削減できる新しい手法であるCRAGを提案する。 実験の結果,CRAGはトークン数を少なくとも46\%削減でき,RAGと比較して90\%以上達成できることがわかった。 さらに、CRAGによるトークンの数は、分析されたレビューの数が多いと大きくは増加しないが、RAGとは異なり、4つのレビューに比べて75のレビューがある場合には、トークンの数が約9倍になる。

関連論文リスト

• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs - No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文を対象とした2,326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Multiple Abstraction Level Retrieve Augment Generation [4.516242893120263]
  大規模言語モデル(LLM)を利用した検索型拡張生成(RAG)モデルは、新しいデータや知識に適応するためのより高速でコスト効率の高いソリューションを提供する。 本稿では,多文レベル,段落レベル,セクションレベル,文書レベルを含む,複数抽象レベル(MAL)のチャンクを用いた新しいRAG手法を提案する。 従来の単一レベルRAGアプローチと比較して,Glyco関連論文では,AIによるQ/A回答の正当性の評価が25.739%向上した。
  論文  参考訳（メタデータ） (2025-01-28T13:49:39Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• Long Context RAG Performance of Large Language Models [29.7557824450885]
  大規模言語モデル(LLM)の精度を高める重要な手法として、検索拡張生成(RAG)が登場している。 本稿では, コンテクスト長の増大が, 20のオープンソースおよび商用LLMにおけるRAG性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-05T22:37:43Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
  Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。 本稿では,RAGの利益と有害性を説明するための理論を提供する。 提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-03T02:56:14Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。