論文の概要: Lighter And Better: Towards Flexible Context Adaptation For Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2409.15699v1
- Date: Tue, 24 Sep 2024 03:25:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-26 09:11:12.490204
- Title: Lighter And Better: Towards Flexible Context Adaptation For Retrieval Augmented Generation
- Title（参考訳）: Lighter and Better: 検索拡張ジェネレーションのためのフレキシブルなコンテキスト適応を目指して
- Authors: Zheng Liu, Chenyuan Wu, Ninglu Shao, Shitao Xiao, Chaozhuo Li, Defu Lian,
- Abstract要約: 我々はFlexRAG(Flexible Context Adaptation for RAG)と呼ばれる新しいアプローチを導入する。
このアプローチでは、検索したコンテキストは、LLM(Large Language Models)によって符号化される前に、コンパクトな埋め込みに圧縮される。
FlexRAGの重要な特徴は柔軟性であり、多様な圧縮比を効果的にサポートし、重要なコンテキストを選択的に保存することを可能にする。
- 参考スコア（独自算出の注目度）: 32.26885597587913
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The existing Retrieval-Augmented Generation (RAG) systems face significant challenges in terms of cost and effectiveness. On one hand, they need to encode the lengthy retrieved contexts before responding to the input tasks, which imposes substantial computational overhead. On the other hand, directly using generic Large Language Models (LLMs) often leads to sub-optimal answers, while task-specific fine-tuning may compromise the LLMs' general capabilities. To address these challenges, we introduce a novel approach called FlexRAG (Flexible Context Adaptation for RAG). In this approach, the retrieved contexts are compressed into compact embeddings before being encoded by the LLMs. Simultaneously, these compressed embeddings are optimized to enhance downstream RAG performance. A key feature of FlexRAG is its flexibility, which enables effective support for diverse compression ratios and selective preservation of important contexts. Thanks to these technical designs, FlexRAG achieves superior generation quality while significantly reducing running costs. Comprehensive experiments on various question-answering datasets validate our approach as a cost-effective and flexible solution for RAG systems.
- Abstract（参考訳）: 既存のRetrieval-Augmented Generation (RAG) システムは、コストと有効性の観点から大きな課題に直面している。
一方、入力タスクに応答する前に、長い検索されたコンテキストをエンコードする必要があるため、かなりの計算オーバーヘッドが生じる。
一方、汎用言語モデル(LLM)を直接使用すると、タスク固有の微調整がLLMの一般的な能力を損なう可能性がある。
これらの課題に対処するために、FlexRAG(Flexible Context Adaptation for RAG)と呼ばれる新しいアプローチを導入する。
このアプローチでは、LLMによって符号化される前に、検索したコンテキストをコンパクトな埋め込みに圧縮する。
同時に、これらの圧縮埋め込みは下流RAG性能を向上させるために最適化される。
FlexRAGの重要な特徴は柔軟性であり、多様な圧縮比を効果的にサポートし、重要なコンテキストを選択的に保存することを可能にする。
これらの技術設計のおかげで、FlexRAGはより優れた世代品質を実現し、ランニングコストを大幅に削減した。
様々な質問応答データセットに関する総合的な実験は、当社のアプローチをRAGシステムに対する費用対効果と柔軟なソリューションとして検証する。
関連論文リスト
- mR$^2$AG: Multimodal Retrieval-Reflection-Augmented Generation for Knowledge-Based VQA [78.45521005703958]
マルチモーダル検索拡張生成(mRAG)はMLLMに包括的で最新の知識を提供するために自然に導入されている。
我々は、適応的検索と有用な情報ローカライゼーションを実現する textbfRetrieval-textbfReftextbfAugmented textbfGeneration (mR$2$AG) という新しいフレームワークを提案する。
mR$2$AG は INFOSEEK と Encyclopedic-VQA の最先端MLLM を著しく上回る
論文 参考訳（メタデータ） (2024-11-22T16:15:50Z) - LightRAG: Simple and Fast Retrieval-Augmented Generation [12.86888202297654]
Retrieval-Augmented Generation (RAG) システムは、外部知識ソースを統合することで、大規模言語モデル(LLM)を強化する。
既存のRAGシステムには、フラットなデータ表現への依存やコンテキスト認識の欠如など、大きな制限がある。
テキストインデックスと検索プロセスにグラフ構造を組み込んだLightRAGを提案する。
論文 参考訳（メタデータ） (2024-10-08T08:00:12Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - Large Language Model Empowered Embedding Generator for Sequential Recommendation [57.49045064294086]
大言語モデル(LLM)は、その人気に関係なく、項目間の意味的関係を理解する能力を持つ。
LLMEmbは、LCMを利用してアイテム埋め込みを作成し、シークエンシャル・レコメンダ・システムの性能を高める革新的な技術である。
論文 参考訳（メタデータ） (2024-09-30T03:59:06Z) - Efficient In-Domain Question Answering for Resource-Constrained Environments [0.07499722271664146]
Retrieval Augmented Generation (RAG)は、事前訓練された大規模言語モデル(LLM)に外部知識を統合する方法である。
近年の研究では、これらの問題に対処するために微調整を使うことが成功している。
本研究では,RAFTとLoRAを組み合わせることで,微調整やストレージの要求を低減し,推論時間を短縮する。
論文 参考訳（メタデータ） (2024-09-26T08:55:21Z) - SMART-RAG: Selection using Determinantal Matrices for Augmented Retrieval [40.17823569905232]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)を大幅に改善し、正確で文脈に根ざした応答を生成する。
RAGアプローチは、クエリコンテキストの関連性のみに基づくトップランクのドキュメントを優先し、冗長性と矛盾する情報をしばしば導入する。
本稿では,RAGにおける文脈選択の最適化を目的とした,教師なしおよびトレーニング不要なフレームワークであるRAG(Mathrices for Augmented Retrieval)によるタスク応答のための選択を提案する。
論文 参考訳（メタデータ） (2024-09-21T03:03:09Z) - Flexora: Flexible Low Rank Adaptation for Large Language Models [12.696136981847438]
大規模言語モデル(LLM)は、モデルパラメータのスケールを拡大することで、人工知能の進歩を推進している。
特定の下流タスクにおけるそれらのパフォーマンスは、通常これらのタスクの知識境界によって妨げられる。
本稿では,フレキシブルな低ランク適応法 (Flexora) を提案する。
論文 参考訳（メタデータ） (2024-08-20T12:13:04Z) - A Thorough Performance Benchmarking on Lightweight Embedding-based Recommender Systems [67.52782366565658]
State-of-the-art recommender system (RS) は、埋め込みベクトルによって符号化される分類的特徴に依存し、結果として非常に大きな埋め込みテーブルとなる。
軽量埋め込み型RSの繁栄にもかかわらず、評価プロトコルには幅広い多様性が見られる。
本研究では, LERSの性能, 効率, クロスタスク転送性について, 徹底的なベンチマークによる検討を行った。
論文 参考訳（メタデータ） (2024-06-25T07:45:00Z) - One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。
本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-30T03:44:54Z) - Improving Retrieval for RAG based Question Answering Models on Financial Documents [0.046603287532620746]
本稿では,RAGパイプラインの既存の制約について検討し,テキスト検索の方法を紹介する。
高度なチャンキングテクニック、クエリ拡張、メタデータアノテーションの組み込み、再ランク付けアルゴリズムの適用、埋め込みアルゴリズムの微調整などの戦略を練っている。
論文 参考訳（メタデータ） (2024-03-23T00:49:40Z) - RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる
RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
論文 参考訳（メタデータ） (2024-03-14T02:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。