論文の概要: FIT-RAG: Black-Box RAG with Factual Information and Token Reduction
- arxiv url: http://arxiv.org/abs/2403.14374v1
- Date: Thu, 21 Mar 2024 13:05:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:18:45.497324
- Title: FIT-RAG: Black-Box RAG with Factual Information and Token Reduction
- Title（参考訳）: FIT-RAG:Factual Information and Token Reduced Black-Box RAG
- Authors: Yuren Mao, Xuemei Dong, Wenyi Xu, Yunjun Gao, Bin Wei, Ying Zhang,
- Abstract要約: 本稿では,検索における事実情報を利用した新しいブラックボックスRAGフレームワークを提案する。
FIT-RAGは、TriviaQAで14.3%、NQで19.9%、PopQAで27.5%の回答精度を向上させることができる。
- 参考スコア（独自算出の注目度）: 24.618838356912686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the extraordinarily large number of parameters, fine-tuning Large Language Models (LLMs) to update long-tail or out-of-date knowledge is impractical in lots of applications. To avoid fine-tuning, we can alternatively treat a LLM as a black-box (i.e., freeze the parameters of the LLM) and augment it with a Retrieval-Augmented Generation (RAG) system, namely black-box RAG. Recently, black-box RAG has achieved success in knowledge-intensive tasks and has gained much attention. Existing black-box RAG methods typically fine-tune the retriever to cater to LLMs' preferences and concatenate all the retrieved documents as the input, which suffers from two issues: (1) Ignorance of Factual Information. The LLM preferred documents may not contain the factual information for the given question, which can mislead the retriever and hurt the effectiveness of black-box RAG; (2) Waste of Tokens. Simply concatenating all the retrieved documents brings large amounts of unnecessary tokens for LLMs, which degenerates the efficiency of black-box RAG. To address these issues, this paper proposes a novel black-box RAG framework which utilizes the factual information in the retrieval and reduces the number of tokens for augmentation, dubbed FIT-RAG. FIT-RAG utilizes the factual information by constructing a bi-label document scorer. Besides, it reduces the tokens by introducing a self-knowledge recognizer and a sub-document-level token reducer. FIT-RAG achieves both superior effectiveness and efficiency, which is validated by extensive experiments across three open-domain question-answering datasets: TriviaQA, NQ and PopQA. FIT-RAG can improve the answering accuracy of Llama2-13B-Chat by 14.3\% on TriviaQA, 19.9\% on NQ and 27.5\% on PopQA, respectively. Furthermore, it can save approximately half of the tokens on average across the three datasets.
- Abstract（参考訳）: 非常に多くのパラメータがあるため、長い知識や時代遅れの知識を更新するための微調整のLarge Language Model(LLM)は多くのアプリケーションでは実用的ではない。
微調整を避けるために、LCMをブラックボックス(すなわち、LCMのパラメータを凍結する)として扱い、それをレトリーバル拡張生成(RAG)システム、すなわちブラックボックスRAGで拡張することができる。
近年、ブラックボックスRAGは知識集約的なタスクで成功し、多くの注目を集めている。
既存のブラックボックスRAG法は、典型的にはレトリバーを微調整してLLMの好みに適合させ、検索したすべての文書を入力として結合する。
LLMが好む書類は,当該質問の事実情報を含まず,検索者の誤解を招き,ブラックボックスRAGの有効性を損なうおそれがある。(2)トークンの無駄。
取得したすべての文書を単純に結合すると、LCMに対して大量の不要トークンが発生し、それによってブラックボックスRAGの効率が低下する。
これらの課題に対処するため,本研究ではFIT-RAGと呼ばれる,検索における事実情報を利用した新しいブラックボックスRAGフレームワークを提案し,拡張用トークンの数を削減した。
FIT-RAGは、この事実情報を利用して、バイラベル文書スコアラを構築する。
さらに、自己知識認識器とサブドキュメントレベルのトークン還元器を導入することでトークンを削減する。
FIT-RAGは、TriviaQA、NQ、PopQAの3つのオープンドメイン質問回答データセットにわたる広範な実験によって検証され、優れた効率と効率を達成する。
FIT-RAGは、TriviaQAで14.3\%、NQで19.9\%、PopQAで27.5\%、Llama2-13B-Chatの解答精度を向上させることができる。
さらに、3つのデータセットで平均してトークンの約半分を保存できる。
関連論文リスト
- EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。
実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
論文 参考訳（メタデータ） (2024-08-08T06:57:49Z) - $\texttt{MixGR}$: Enhancing Retriever Generalization for Scientific Domain through Complementary Granularity [88.78750571970232]
本稿では,クエリ文書マッチングに対する高密度検索者の認識を改善するために,$texttMixGR$を紹介する。
$texttMixGR$は、粒度に基づくさまざまなメトリクスを統合スコアに融合させ、包括的なクエリドキュメントの類似性を反映させる。
論文 参考訳（メタデータ） (2024-07-15T13:04:09Z) - R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation [11.890598082534577]
Retrieval augmented generation (RAG) は、検索者によって提供される外部文書で大規模言語モデル(LLM)を拡張するために、多くのシナリオで適用されてきた。
本稿では,R$2$AGを提案する。R$2$AGは,検索情報を検索用拡張生成に組み込む新しい拡張RAGフレームワークである。
論文 参考訳（メタデータ） (2024-06-19T06:19:48Z) - CrAM: Credibility-Aware Attention Modification in LLMs for Combating Misinformation in RAG [50.030526904378256]
Retrieval-Augmented Generation (RAG)は、外部文書を参照することにより、LLM(Large Language Models)の幻覚を軽減することができる。
この問題に対処するために,我々は「クレディビリティ・アウェアRAG」の課題を探求する。
我々は$textbfCr$edibility-aware $textbfA$ttention $textbfM$odification (CrAM)というプラグイン・アンド・プレイ方式を導入する。
CrAMは、文書の信頼性に基づいて、影響力のある注意頭を特定し、その注意重みを調整することにより、低信頼度文書の影響を低減する。
論文 参考訳（メタデータ） (2024-06-17T13:01:12Z) - Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities [30.1331670544648]
大規模言語モデル(LLM)はパラメトリックな知識によって制限され、知識集約的なタスクに幻覚をもたらす。
我々は、RAGの検索後のプロセスで機能するエンドツーエンドの抽出・再構成パラダイムである$textitRefiner$を提案する。
論文 参考訳（メタデータ） (2024-06-17T09:25:10Z) - Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる
既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。
本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
論文 参考訳（メタデータ） (2024-06-07T16:59:38Z) - Clustered Retrieved Augmented Generation (CRAG) [0.0]
生成した応答の質を劣化させることなく、トークンのプロンプト数を削減できるCRAGを提案する。
CRAGはトークン数を少なくとも46%減らし,RAGと比較して90%以上を達成できることを示す。
論文 参考訳（メタデータ） (2024-05-24T16:36:47Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳（メタデータ） (2024-02-28T08:24:38Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:27:50Z) - Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。
query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。
また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文 参考訳（メタデータ） (2023-03-14T07:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。