論文の概要: Clustered Retrieved Augmented Generation (CRAG)

• arxiv url: http://arxiv.org/abs/2406.00029v1
• Date: Fri, 24 May 2024 16:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-09 16:09:32.344588
• Title: Clustered Retrieved Augmented Generation (CRAG)
• Title（参考訳）: Clustered Retrieved Augmented Generation (CRAG)
• Authors: Simon Akesson, Frances A. Santos,
• Abstract要約: 生成した応答の質を劣化させることなく、トークンのプロンプト数を削減できるCRAGを提案する。 CRAGはトークン数を少なくとも46%減らし,RAGと比較して90%以上を達成できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Providing external knowledge to Large Language Models (LLMs) is a key point for using these models in real-world applications for several reasons, such as incorporating up-to-date content in a real-time manner, providing access to domain-specific knowledge, and contributing to hallucination prevention. The vector database-based Retrieval Augmented Generation (RAG) approach has been widely adopted to this end. Thus, any part of external knowledge can be retrieved and provided to some LLM as the input context. Despite RAG approach's success, it still might be unfeasible for some applications, because the context retrieved can demand a longer context window than the size supported by LLM. Even when the context retrieved fits into the context window size, the number of tokens might be expressive and, consequently, impact costs and processing time, becoming impractical for most applications. To address these, we propose CRAG, a novel approach able to effectively reduce the number of prompting tokens without degrading the quality of the response generated compared to a solution using RAG. Through our experiments, we show that CRAG can reduce the number of tokens by at least 46\%, achieving more than 90\% in some cases, compared to RAG. Moreover, the number of tokens with CRAG does not increase considerably when the number of reviews analyzed is higher, unlike RAG, where the number of tokens is almost 9x higher when there are 75 reviews compared to 4 reviews.
• Abstract（参考訳）: LLM(Large Language Models)への外部知識の提供は、リアルタイムに最新のコンテンツを組み込むこと、ドメイン固有の知識へのアクセスを提供すること、幻覚予防に寄与することなど、いくつかの理由から、これらのモデルを現実のアプリケーションで使用する上で重要なポイントである。 ベクトルデータベースに基づくRetrieval Augmented Generation (RAG)アプローチはこの目的に広く採用されている。 これにより、外部知識の任意の部分を検索し、入力コンテキストとしてLLMに供給することができる。 RAGアプローチの成功にもかかわらず、検索されたコンテキストはLLMがサポートするサイズよりも長いコンテキストウィンドウを必要とするため、いくつかのアプリケーションではまだ実現不可能である。 検索されたコンテキストがコンテキストウィンドウのサイズに適合しても、トークンの数は表現力があり、その結果、コストと処理時間に影響し、ほとんどのアプリケーションでは実用的ではない。 そこで本研究では,RAGを用いたソリューションと比較して,応答の質を劣化させることなく,トークンのプロンプト数を効果的に削減できる新しい手法であるCRAGを提案する。 実験の結果,CRAGはトークン数を少なくとも46\%削減でき,RAGと比較して90\%以上達成できることがわかった。 さらに、CRAGによるトークンの数は、分析されたレビューの数が多いと大きくは増加しないが、RAGとは異なり、4つのレビューに比べて75のレビューがある場合には、トークンの数が約9倍になる。

関連論文リスト

• Long Context RAG Performance of Large Language Models [29.7557824450885]
  大規模言語モデル(LLM)の精度を高める重要な手法として、検索拡張生成(RAG)が登場している。 本稿では, コンテクスト長の増大が, 20のオープンソースおよび商用LLMにおけるRAG性能に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-05T22:37:43Z)
• How Much Can RAG Help the Reasoning of LLM? [9.601957219734683]
  Retrieval-Augmented Generation (RAG)は、現代のLarge Language Models (LLMs)で大きな人気を集めている。 RAGは推論プロセスにどのように役立つのか、RAGは推論能力を改善するのにどのように役立つのか、まだ疑問が残る。
  論文  参考訳（メタデータ） (2024-10-03T09:48:09Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを51%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• CRAG -- Comprehensive RAG Benchmark [58.15980697921195]
  Retrieval-Augmented Generation (RAG) は、Large Language Model (LLM) の知識不足を緩和するための有望なソリューションとして最近登場した。 既存のRAGデータセットは、現実世界の質問回答(QA)タスクの多様性と動的な性質を適切に表現していない。 このギャップを埋めるために、包括的RAGベンチマーク(CRAG)を導入する。 CRAGは、Webと知識グラフ(KG)検索をシミュレートする4,409組の質問応答ペアとモックAPIの実際の質問応答ベンチマークである。
  論文  参考訳（メタデータ） (2024-06-07T08:43:07Z)
• A Theory for Token-Level Harmonization in Retrieval-Augmented Generation [76.75124161306795]
  Retrieval-augmented Generation (RAG)は、検索したテキストを利用して大規模言語モデル(LLM)を強化する。 本稿では,RAGの利益と有害性を説明するための理論を提供する。 提案手法は,本理論に基づいて,純粋LLMとRAGの協調生成を実現する実用的手法であるTok-RAGを提案する。
  論文  参考訳（メタデータ） (2024-06-03T02:56:14Z)
• Accelerating Inference of Retrieval-Augmented Generation via Sparse Context Selection [28.15184715270483]
  大きな言語モデル (LLM) は、検索によって強化され、堅牢な性能と広範な汎用性を示す。 本稿では,スパースRAGという新しいパラダイムを提案する。 Sparse RAGは、検索したドキュメントを並列にエンコードする。
  論文  参考訳（メタデータ） (2024-05-25T11:10:04Z)
• Retrieval Augmented Generation Systems: Automatic Dataset Creation, Evaluation and Boolean Agent Setup [5.464952345664292]
  Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。 本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
  論文  参考訳（メタデータ） (2024-02-26T12:56:17Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。