論文の概要: ECoRAG: Evidentiality-guided Compression for Long Context RAG

• arxiv url: http://arxiv.org/abs/2506.05167v2
• Date: Fri, 06 Jun 2025 07:57:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.088905
• Title: ECoRAG: Evidentiality-guided Compression for Long Context RAG
• Title（参考訳）: ECoRAG:Long Context RAGのための証拠性誘導圧縮
• Authors: Yeonseok Jeong, Jinsu Kim, Dohyeon Lee, Seung-won Hwang,
• Abstract要約: Evidentiality-guided RAG (EcoRAG framework) を提案する。 ECoRAGは、明細度に基づいて検索した文書を圧縮することで、性能を向上させる。 ECoRAGはレイテンシを低減するだけでなく、トークンの使用を最小化するため、非常にコスト効率が高い。
• 参考スコア（独自算出の注目度）: 22.842546956145064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown remarkable performance in Open-Domain Question Answering (ODQA) by leveraging external documents through Retrieval-Augmented Generation (RAG). To reduce RAG overhead, from longer context, context compression is necessary. However, prior compression methods do not focus on filtering out non-evidential information, which limit the performance in LLM-based RAG. We thus propose Evidentiality-guided RAG, or ECoRAG framework. ECoRAG improves LLM performance by compressing retrieved documents based on evidentiality, ensuring whether answer generation is supported by the correct evidence. As an additional step, ECoRAG reflects whether the compressed content provides sufficient evidence, and if not, retrieves more until sufficient. Experiments show that ECoRAG improves LLM performance on ODQA tasks, outperforming existing compression methods. Furthermore, ECoRAG is highly cost-efficient, as it not only reduces latency but also minimizes token usage by retaining only the necessary information to generate the correct answer. Code is available at https://github.com/ldilab/ECoRAG.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、検索・拡張生成 (RAG) を通じて外部文書を活用することにより、オープンドメイン質問回答 (ODQA) において顕著な性能を示した。 RAGのオーバーヘッドを軽減するには、より長いコンテキストからコンテキスト圧縮が必要である。 しかし、従来の圧縮手法では、LLMベースのRAGの性能を制限する非証拠情報のフィルタリングに重点を置いていない。 そこで我々はEvidentiality-guided RAG (EcoRAG framework)を提案する。 ECoRAGは、証拠に基づいて検索した文書を圧縮し、正しい証拠によって回答生成が支持されるかどうかを確認することにより、LCM性能を向上させる。 追加のステップとして、ECoRAGは圧縮されたコンテンツが十分な証拠を提供するかどうかを反映し、もしそうでなければ、十分なまでにより多くの証拠を取得する。 実験により,ECoRAGはODQAタスク上でのLLM性能を向上し,既存の圧縮手法よりも優れていた。 さらに、ECoRAGはレイテンシを低減するだけでなく、正しい回答を生成するために必要な情報のみを保持することでトークンの使用を最小化するため、非常にコスト効率が高い。 コードはhttps://github.com/ldilab/ECoRAGで入手できる。

関連論文リスト

• Long Context In-Context Compression by Getting to the Gist of Gisting [50.24627831994713]
  GistPoolは、デコーダ変換器にアーキテクチャ変更を加えることなく、コンテクスト内で圧縮する方法である。 圧縮速度が最小でも性能が大幅に低下し, より長いコンテキストで試行錯誤することを示す。 GistPoolは、gistingの単純さを保ちながら、長いコンテキスト圧縮タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-11T19:23:31Z)
• AttentionRAG: Attention-Guided Context Pruning in Retrieval-Augmented Generation [3.735352744532723]
  本稿では,RAGシステムに対する注意誘導型コンテキストプルーニング手法であるAttentionRAGを提案する。 AttentionRAGの中核となる考え方は、RAGクエリを次世代の予測パラダイムに再構成する、注意集中メカニズムにある。 LongBenchとBabilongベンチマークの実験では、AttentionRAGは最大6.3$times$コンテキスト圧縮を達成し、LLMLinguaのメソッドはキーメトリックで約10%上回っている。
  論文  参考訳（メタデータ） (2025-03-13T08:22:28Z)
• EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation [8.757777529568383]
  現在のRAGシステムは、検索モデルが最も関連性の高い文書のランク付けに失敗したときにしばしば苦労する。 抽出文脈圧縮フレームワークEXITを紹介する。 評価の結果,EXITは既存の圧縮手法を一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-17T05:38:27Z)
• EoRA: Fine-tuning-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [84.70637613266835]
  EoRAは、圧縮されたLarge Language Modelを低ランク行列で拡張する微調整不要な手法である。 EoRAは、圧縮LDMの精度を回復するために、トレーニングなしの低ランク法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems [2.8692611791027893]
  Retrieval-Augmented Generation (RAG) システムは、無関係またはゆるい関連情報の検索によって不正確な応答を生成する。 チャンクレベルで取得した情報を評価・フィルタリングすることでRAGシステムを強化するフレームワークであるChunkRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-25T14:07:53Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation [60.04380907045708]
  Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。 我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。 MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-09-09T13:20:31Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。