Fugu-MT 論文翻訳(概要): AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models

論文の概要: AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models

arxiv url: http://arxiv.org/abs/2409.01579v1
Date: Tue, 3 Sep 2024 03:25:59 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 03:06:29.140155
Title: AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models
Title（参考訳）: AdaComp:Retrieval-Augmented Large Language ModelのためのAdaptive Predictorを用いた抽出コンテキスト圧縮
Authors: Qianchi Zhang, Hainan Zhang, Liang Pang, Hongwei Zheng, Zhiming Zheng,
Abstract要約: ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。本稿では,クエリの複雑さと検索品質の両面から圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。
参考スコア（独自算出の注目度）: 15.887617654762629
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieved documents containing noise will hinder RAG from detecting answer clues and make the inference process slow and expensive. Therefore, context compression is necessary to enhance its accuracy and efficiency. Existing context compression methods use extractive or generative models to retain the most query-relevant sentences or apply the information bottleneck theory to preserve sufficient information. However, these methods may face issues such as over-compression or high computational costs. We observe that the retriever often ranks relevant documents at the top, but the exact number of documents needed to answer the query is uncertain due to the impact of query complexity and retrieval quality: complex queries like multi-hop questions may require retaining more documents than simpler queries, and a low-quality retrieval may need to rely on more documents to generate accurate outputs. Therefore, determining the minimum number of required documents (compression rate) is still a challenge for RAG. In this paper, we introduce AdaComp, a low-cost extractive context compression method that adaptively determines the compression rate based on both query complexity and retrieval quality. Specifically, we first annotate the minimum top-k documents necessary for the RAG system to answer the current query as the compression rate and then construct triplets of the query, retrieved documents, and its compression rate. Then, we use this triplet dataset to train a compression-rate predictor. Experiments on three QA datasets and one conversational Muiti-doc QA dataset show that AdaComp significantly reduces inference costs while maintaining performance nearly identical to uncompressed models, achieving a balance between efficiency and performance.
Abstract（参考訳）: ノイズを含む検索された文書は、RAGが答えの手がかりを検知するのを妨げ、推論プロセスを遅く、高価にする。したがって、コンテキスト圧縮は、その精度と効率を高めるために必要である。既存の文脈圧縮法では、抽出的または生成的モデルを用いて、最もクエリ関連のある文を保持するか、あるいは十分な情報を保持するために情報ボトルネック理論を適用している。しかし、これらの手法は過剰圧縮や高い計算コストといった問題に直面する可能性がある。検索者が関連文書を上位にランク付けすることが多いが、クエリの複雑さや検索品質の影響により、クエリに答えるために必要な文書の正確な数は不確実である:マルチホップ質問のような複雑なクエリは、単純なクエリよりも多くのドキュメントを保持する必要があり、低品質の検索は、正確な出力を生成するためにより多くのドキュメントに依存する必要がある。したがって、RAGにとって必要最小限の文書数(圧縮率)を決定することは依然として課題である。本稿では,クエリの複雑さと検索品質の両方に基づいて圧縮率を適応的に決定する,低コストな抽出文脈圧縮手法であるAdaCompを紹介する。具体的には、まずRAGシステムに必要な最小トップk文書を圧縮率としてアノテートし、その後、検索された文書とその圧縮率のトリプレットを構築する。次に、この三重項データセットを使用して、圧縮速度予測器をトレーニングします。 3つのQAデータセットと1つの会話型Muiti-doc QAデータセットの実験から、AdaCompは、非圧縮モデルに近いパフォーマンスを維持しながら、推論コストを著しく削減し、効率とパフォーマンスのバランスを達成している。

関連論文リスト

BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
BRIEF(Bridging Retrieval and Inference through Evidence Fusion)は、クエリ対応のマルチホップ推論を実行する軽量なアプローチである。オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文参考訳（メタデータ） (2024-10-20T04:24:16Z)
BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
多くの複雑な実世界のクエリは、関連する文書を特定するために詳細な推論を必要とする。 BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。
論文参考訳（メタデータ） (2024-07-16T17:58:27Z)
Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文参考訳（メタデータ） (2024-07-01T15:53:29Z)
DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering [4.364937306005719]
RAGは最近、質問応答(QA)のような知識集約的なタスクにおいて、LLM(Large Language Models)のパフォーマンスを実証した。重要な文書とクエリの間には関連性が低いものの,文書の一部とクエリを組み合わせることで,残りの文書を検索できることがわかった。文書検索のリコールと回答の精度を向上させるために,DR-RAG(Dynamic-Relevant Retrieval-Augmented Generation)と呼ばれる2段階検索フレームワークを提案する。
論文参考訳（メタデータ） (2024-06-11T15:15:33Z)
Progressive Query Expansion for Retrieval Over Cost-constrained Data Sources [6.109188517569139]
ProQEはプログレッシブなクエリ拡張アルゴリズムで、より多くのドキュメントを取得すると、クエリを反復的に拡張する。その結果, ProQEは最先端のベースラインを37%上回り, 費用対効果が最も高いことがわかった。
論文参考訳（メタデータ） (2024-06-11T10:30:19Z)
RECOMP: Improving Retrieval-Augmented LMs with Compression and Selective Augmentation [61.53695868960846]
テキスト内統合に先立って,検索した文書をテキスト要約に圧縮する手法を提案する。これにより、計算コストを削減できるだけでなく、長期検索された文書の関連情報を識別する上で、LMの負担を軽減できる。本研究では,あるLMに対して訓練した圧縮機を言語モデリングタスク上で他のLMに転送し,検索した文書にほぼ忠実な要約を提供することを示す。
論文参考訳（メタデータ） (2023-10-06T17:55:36Z)
CAPSTONE: Curriculum Sampling for Dense Retrieval with Document Expansion [68.19934563919192]
本稿では,学習中に擬似クエリを利用して,生成したクエリと実際のクエリとの関係を徐々に向上させるカリキュラムサンプリング戦略を提案する。ドメイン内およびドメイン外両方のデータセットに対する実験結果から,本手法が従来の高密度検索モデルより優れていることが示された。
論文参考訳（メタデータ） (2022-12-18T15:57:46Z)
Improving Query Representations for Dense Retrieval with Pseudo Relevance Feedback [29.719150565643965]
本稿では,疑似関連性フィードバック(PRF)を用いて高密度検索のためのクエリ表現を改善する新しいクエリエンコーダであるANCE-PRFを提案する。 ANCE-PRF は BERT エンコーダを使用し、検索モデルである ANCE からクエリとトップ検索されたドキュメントを消費し、関連ラベルから直接クエリの埋め込みを生成する。 PRFエンコーダは、学習された注意機構でノイズを無視しながら、PRF文書から関連および補完的な情報を効果的にキャプチャする。
論文参考訳（メタデータ） (2021-08-30T18:10:26Z)
End-to-End Multihop Retrieval for Compositional Question Answering over Long Documents [93.55268936974971]
本稿では,長い文書の合成問題に答えるマルチホップ検索手法であるDocHopperを提案する。各ステップでDocHopperは文書から段落や文を検索し、検索した結果とクエリを混合し、次のステップでクエリを更新する。文書構造を活用すれば、長い文書の質問応答や検索性能を大幅に改善できることを示す。
論文参考訳（メタデータ） (2021-06-01T03:13:35Z)
Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
オープンドメインの問に答える統合QAフレームワークを提案する。提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
論文参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。