論文の概要: FIT-RAG: Black-Box RAG with Factual Information and Token Reduction
- arxiv url: http://arxiv.org/abs/2403.14374v1
- Date: Thu, 21 Mar 2024 13:05:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 14:18:45.497324
- Title: FIT-RAG: Black-Box RAG with Factual Information and Token Reduction
- Title(参考訳): FIT-RAG:Factual Information and Token Reduced Black-Box RAG
- Authors: Yuren Mao, Xuemei Dong, Wenyi Xu, Yunjun Gao, Bin Wei, Ying Zhang,
- Abstract要約: 本稿では,検索における事実情報を利用した新しいブラックボックスRAGフレームワークを提案する。
FIT-RAGは、TriviaQAで14.3%、NQで19.9%、PopQAで27.5%の回答精度を向上させることができる。
- 参考スコア(独自算出の注目度): 24.618838356912686
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Due to the extraordinarily large number of parameters, fine-tuning Large Language Models (LLMs) to update long-tail or out-of-date knowledge is impractical in lots of applications. To avoid fine-tuning, we can alternatively treat a LLM as a black-box (i.e., freeze the parameters of the LLM) and augment it with a Retrieval-Augmented Generation (RAG) system, namely black-box RAG. Recently, black-box RAG has achieved success in knowledge-intensive tasks and has gained much attention. Existing black-box RAG methods typically fine-tune the retriever to cater to LLMs' preferences and concatenate all the retrieved documents as the input, which suffers from two issues: (1) Ignorance of Factual Information. The LLM preferred documents may not contain the factual information for the given question, which can mislead the retriever and hurt the effectiveness of black-box RAG; (2) Waste of Tokens. Simply concatenating all the retrieved documents brings large amounts of unnecessary tokens for LLMs, which degenerates the efficiency of black-box RAG. To address these issues, this paper proposes a novel black-box RAG framework which utilizes the factual information in the retrieval and reduces the number of tokens for augmentation, dubbed FIT-RAG. FIT-RAG utilizes the factual information by constructing a bi-label document scorer. Besides, it reduces the tokens by introducing a self-knowledge recognizer and a sub-document-level token reducer. FIT-RAG achieves both superior effectiveness and efficiency, which is validated by extensive experiments across three open-domain question-answering datasets: TriviaQA, NQ and PopQA. FIT-RAG can improve the answering accuracy of Llama2-13B-Chat by 14.3\% on TriviaQA, 19.9\% on NQ and 27.5\% on PopQA, respectively. Furthermore, it can save approximately half of the tokens on average across the three datasets.
- Abstract(参考訳): 非常に多くのパラメータがあるため、長い知識や時代遅れの知識を更新するための微調整のLarge Language Model(LLM)は多くのアプリケーションでは実用的ではない。
微調整を避けるために、LCMをブラックボックス(すなわち、LCMのパラメータを凍結する)として扱い、それをレトリーバル拡張生成(RAG)システム、すなわちブラックボックスRAGで拡張することができる。
近年、ブラックボックスRAGは知識集約的なタスクで成功し、多くの注目を集めている。
既存のブラックボックスRAG法は、典型的にはレトリバーを微調整してLLMの好みに適合させ、検索したすべての文書を入力として結合する。
LLMが好む書類は,当該質問の事実情報を含まず,検索者の誤解を招き,ブラックボックスRAGの有効性を損なうおそれがある。(2)トークンの無駄。
取得したすべての文書を単純に結合すると、LCMに対して大量の不要トークンが発生し、それによってブラックボックスRAGの効率が低下する。
これらの課題に対処するため,本研究ではFIT-RAGと呼ばれる,検索における事実情報を利用した新しいブラックボックスRAGフレームワークを提案し,拡張用トークンの数を削減した。
FIT-RAGは、この事実情報を利用して、バイラベル文書スコアラを構築する。
さらに、自己知識認識器とサブドキュメントレベルのトークン還元器を導入することでトークンを削減する。
FIT-RAGは、TriviaQA、NQ、PopQAの3つのオープンドメイン質問回答データセットにわたる広範な実験によって検証され、優れた効率と効率を達成する。
FIT-RAGは、TriviaQAで14.3\%、NQで19.9\%、PopQAで27.5\%、Llama2-13B-Chatの解答精度を向上させることができる。
さらに、3つのデータセットで平均してトークンの約半分を保存できる。
関連論文リスト
- When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively [3.705145020383824]
本稿では,Large Language Models (LLMs) が,与えられた質問に答えるために追加のコンテキストを必要とする場合に,既製の情報検索(IR)システムを使用する方法を示す。
論文 参考訳(メタデータ) (2024-04-30T16:52:55Z) - Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models [28.105271954633682]
本稿では,Large Language Models (LLMs) へのリーク情報の再ランク付けのための,Q-PEFT (Q-PEFT) アプローチを提案する。
クエリを使用して、入力ドキュメントから上位$kのトークンを抽出し、コンテキストのヒントとして機能します。
検索機構をマルチヘッドアテンション層に置き換えて、エンドツーエンドのトレーニングを実現し、文書中のすべてのトークンをカバーすることにより、Q-PEFTをさらに強化する。
論文 参考訳(メタデータ) (2024-04-06T06:44:41Z) - RAFT: Adapting Language Model to Domain Specific RAG [75.63623523051491]
本稿では、ドメイン内の「オープンブック」設定において、モデルが質問に答える能力を改善するためのトレーニングレシピであるRetrieval Augmented FineTuning(RAFT)を紹介する。
RAFTは、質問に答える助けとなる関連文書から、動詞の正しいシーケンスを引用することで、これを達成します。
RAFTは、PubMed、HotpotQA、Gorillaデータセット全体のモデルのパフォーマンスを一貫して改善する。
論文 参考訳(メタデータ) (2024-03-15T09:26:02Z) - Unsupervised Information Refinement Training of Large Language Models
for Retrieval-Augmented Generation [133.52393894760107]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain
Question Answering [122.62012375722124]
既存の手法では,大規模言語モデル (LLM) は検索した文書の関連性を正確に評価することはできない。
Relevance-Aware Retrieval-augmented approach for open- domain question answering (QA)を提案する。
論文 参考訳(メタデータ) (2024-02-27T13:22:51Z) - ARL2: Aligning Retrievers for Black-box Large Language Models via
Self-guided Adaptive Relevance Labeling [21.872959514817985]
ARL2は、大規模な言語モデルをラベル付けとして活用するレトリバー学習技術である。
ARL2は適応的な自己学習戦略を用いて、高品質で多様な関連データをキュレートする。
実験はARL2の有効性を示し、NQでは5.4%、MMLUでは4.6%の精度向上を実現した。
論文 参考訳(メタデータ) (2024-02-21T05:41:34Z) - PRCA: Fitting Black-Box Large Language Models for Retrieval Question
Answering via Pluggable Reward-Driven Contextual Adapter [36.32750509691128]
ReQA(Retrieval Question Answering)タスクでは、検索とジェネレータで構成される検索拡張フレームワークを採用している。
大きな言語モデル(LLM)は、高度なQA機能のために有用であるが、予算制約で微調整するには大きすぎる。
トレーニング可能なReward-Driven Contextual Adapter (PRCA) を提案する。
論文 参考訳(メタデータ) (2023-10-23T03:12:00Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳(メタデータ) (2023-05-23T17:27:50Z) - Query2doc: Query Expansion with Large Language Models [69.9707552694766]
提案手法はまず,大言語モデル (LLM) をプロンプトすることで擬似文書を生成する。
query2docは、アドホックIRデータセットでBM25のパフォーマンスを3%から15%向上させる。
また,本手法は,ドメイン内およびドメイン外の両方において,最先端の高密度検索に有効である。
論文 参考訳(メタデータ) (2023-03-14T07:27:30Z) - Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。
このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。
本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-16T18:23:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。