論文の概要: AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models

• arxiv url: http://arxiv.org/abs/2409.01579v1
• Date: Tue, 3 Sep 2024 03:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:06:29.140155
• Title: AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models
• Title（参考訳）: AdaComp:Retrieval-Augmented Large Language ModelのためのAdaptive Predictorを用いた抽出コンテキスト圧縮
• Authors: Qianchi Zhang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng,
• Abstract要約: ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。 本稿では,クエリの複雑さと検索品質の両面から圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。
• 参考スコア（独自算出の注目度）: 15.887617654762629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieved documents containing noise will hinder RAG from detecting answer clues and make the inference process slow and expensive. Therefore, context compression is necessary to enhance its accuracy and efficiency. Existing context compression methods use extractive or generative models to retain the most query-relevant sentences or apply the information bottleneck theory to preserve sufficient information. However, these methods may face issues such as over-compression or high computational costs. We observe that the retriever often ranks relevant documents at the top, but the exact number of documents needed to answer the query is uncertain due to the impact of query complexity and retrieval quality: complex queries like multi-hop questions may require retaining more documents than simpler queries, and a low-quality retrieval may need to rely on more documents to generate accurate outputs. Therefore, determining the minimum number of required documents (compression rate) is still a challenge for RAG. In this paper, we introduce AdaComp, a low-cost extractive context compression method that adaptively determines the compression rate based on both query complexity and retrieval quality. Specifically, we first annotate the minimum top-k documents necessary for the RAG system to answer the current query as the compression rate and then construct triplets of the query, retrieved documents, and its compression rate. Then, we use this triplet dataset to train a compression-rate predictor. Experiments on three QA datasets and one conversational Muiti-doc QA dataset show that AdaComp significantly reduces inference costs while maintaining performance nearly identical to uncompressed models, achieving a balance between efficiency and performance.
• Abstract（参考訳）: ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。 したがって、コンテキスト圧縮は、その精度と効率を高めるために必要である。 既存の文脈圧縮法では、抽出的または生成的モデルを用いて、最もクエリ関連のある文を保持するか、あるいは十分な情報を保持するために情報ボトルネック理論を適用している。 しかし、これらの手法は過剰圧縮や高い計算コストといった問題に直面する可能性がある。 検索者が関連文書を上位にランク付けすることが多いが、クエリの複雑さや検索品質の影響により、クエリに答えるために必要な文書の正確な数は不確実である:マルチホップ質問のような複雑なクエリは、単純なクエリよりも多くのドキュメントを保持する必要があり、低品質の検索は、正確な出力を生成するためにより多くのドキュメントに依存する必要がある。 したがって、RAGにとって必要最小限の文書数(圧縮率)を決定することは依然として課題である。 本稿では,クエリの複雑さと検索品質の両方に基づいて圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。 具体的には、まずRAGシステムに必要な最小トップk文書を圧縮率としてアノテートし、その後、検索された文書とその圧縮率のトリプレットを構築する。 次に、この三重項データセットを使用して、圧縮速度予測器をトレーニングします。 3つのQAデータセットと1つの会話型Muiti-doc QAデータセットの実験から、AdaCompは、非圧縮モデルに近いパフォーマンスを維持しながら、推論コストを著しく削減し、効率とパフォーマンスのバランスを達成している。

関連論文リスト

• Conversational Query Reformulation with the Guidance of Retrieved Documents [4.438698005789677]
  本稿では,クエリの洗練にガイドドドキュメントを利用するフレームワークである GuideCQR を紹介する。 具体的には、キーワードを拡大し、再ランクされた文書から期待された回答を生成し、それらをフィルタリング処理で統一する。 実験の結果,ガイド付き文書によって強化されたクエリは,従来のCQR法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-17T07:39:16Z)
• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering [4.364937306005719]
  RAGは最近、質問応答(QA)のような知識集約的なタスクにおいて、LLM(Large Language Models)のパフォーマンスを実証した。 重要な文書とクエリの間には関連性が低いものの,文書の一部とクエリを組み合わせることで,残りの文書を検索できることがわかった。 文書検索のリコールと回答の精度を向上させるために,DR-RAG(Dynamic-Relevant Retrieval-Augmented Generation)と呼ばれる2段階検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-11T15:15:33Z)
• RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
  テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。 これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。 本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-06T17:55:36Z)
• CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
  本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。 ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-12-18T15:57:46Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)
• Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback [29.719150565643965]
  本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。 ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。 PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
  論文  参考訳（メタデータ） (2021-08-30T18:10:26Z)
• End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents [93.55268936974971]
  本稿では,長い文書の合成問題に答えるマルチホップ検索手法であるDocHopperを提案する。 各ステップでDocHopperは文書から段落や文を検索し、検索した結果とクエリを混合し、次のステップでクエリを更新する。 文書構造を活用すれば、長い文書の質問応答や検索性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-06-01T03:13:35Z)
• Open Question Answering over Tables and Text [55.8412170633547]
  オープンな質問応答(QA)では、質問に対する回答は、質問に対する回答を含む可能性のある文書を検索して分析することによって生成される。 ほとんどのオープンQAシステムは、構造化されていないテキストからのみ情報を取得することを検討している。 我々は,このタスクの性能を評価するために,新しい大規模データセット Open Table-and-Text Question Answering (OTT-QA) を提案する。
  論文  参考訳（メタデータ） (2020-10-20T16:48:14Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。