論文の概要: SARA: Selective and Adaptive Retrieval-augmented Generation with Context Compression

• arxiv url: http://arxiv.org/abs/2507.05633v1
• Date: Tue, 08 Jul 2025 03:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.546258
• Title: SARA: Selective and Adaptive Retrieval-augmented Generation with Context Compression
• Title（参考訳）: SARA:コンテキスト圧縮による選択型および適応型検索拡張生成
• Authors: Yiqiao Jin, Kartik Sharma, Vineeth Rakesh, Yingtong Dou, Menghai Pan, Mahashweta Das, Srijan Kumar,
• Abstract要約: 我々は,密な文脈予算の下で,局所的精度とグローバルな知識カバレッジのバランスをとる統一的なRAGフレームワークであるSARAを提案する。 SARAは、自然言語のテキストスニペットと意味圧縮ベクトルを組み合わせることで、コンテキスト効率と回答の正しさを両立させる。
• 参考スコア（独自算出の注目度）: 28.043964124611026
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Retrieval-augmented Generation (RAG) extends large language models (LLMs) with external knowledge but faces key challenges: restricted effective context length and redundancy in retrieved documents. Pure compression-based approaches reduce input size but often discard fine-grained details essential for factual accuracy. We propose SARA, a unified RAG framework that balances local precision and global knowledge coverage under tight context budgets. SARA combines natural-language text snippets with semantic compression vectors to jointly enhance context efficiency and answer correctness. It represents contexts at two complementary levels: 1) fine-grained natural-language spans that preserve critical entities and numerical values, and 2) compact, interpretable vectors that summarize high-level semantics. An iterative evidence-selection module employs the compression vectors for dynamic reranking of contexts. Across 9 datasets and 5 open-source LLMs spanning 3 model families (Mistral, Llama, and Gemma), SARA consistently improves answer relevance (+17.71), answer correctness (+13.72), and semantic similarity (+15.53), demonstrating the importance of integrating textual and compressed representations for robust, context-efficient RAG.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、大きな言語モデル(LLM)を外部の知識で拡張するが、有効なコンテキスト長と文書の冗長性を制限するという大きな課題に直面している。 純粋な圧縮に基づくアプローチは、入力サイズを減少させるが、事実の正確性に不可欠な細かい詳細を破棄することが多い。 我々は,密な文脈予算の下で,局所的精度とグローバルな知識カバレッジのバランスをとる統一的なRAGフレームワークであるSARAを提案する。 SARAは、自然言語のテキストスニペットと意味圧縮ベクトルを組み合わせることで、コンテキスト効率と回答の正しさを両立させる。 文脈を2つの相補的なレベルで表す。 1)重要な実体と数値を保存したきめ細かい自然言語スパン、及び 2) 高レベルの意味論を要約するコンパクトで解釈可能なベクトル。 反復的エビデンス選択モジュールは、コンテキストの動的再ランク付けに圧縮ベクトルを使用する。 9つのデータセットと5つのオープンソースLLM(Mistral、Llama、Gemma)にまたがる3つのモデルファミリ(Mistral、Llama、Gemma)にまたがるSARAは、応答関連性(+17.71)、応答正当性(+13.72)、意味的類似性(+15.53)を一貫して改善し、堅牢で文脈効率の高いRAGのためのテキスト表現と圧縮表現の統合の重要性を示している。

関連論文リスト

• SAGE: A Framework of Precise Retrieval for RAG [9.889395372896153]
  Retrieval-augmented Generation (RAG) は,質問応答タスクの遂行に有意義な能力を示した。 RAGメソッドはセマンティクスを考慮せずにコーパスをセグメントし、関連するコンテキストを見つけるのが困難になる。 これらの制限を克服するために、RAGフレームワーク(SAGE)を導入します。
  論文  参考訳（メタデータ） (2025-03-03T16:25:58Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• Core Context Aware Transformers for Long Context Language Modeling [50.774702091154204]
  高速な長文モデリングのためのCCAアテンションを提案する。 本手法は,学習過程における冗長性を低下させながら,コアコンテキストに自動的に焦点を合わせ,強化する。 提案手法は,既存の大規模言語モデルにおける自己注意モジュールを最小限の微調整コストで置き換えることができる。
  論文  参考訳（メタデータ） (2024-12-17T01:54:08Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations [5.148810760938979]
  CEV-LMは,制約付き編集ベクトルを用いて3つの相補的メトリクスを制御する軽量な半自己回帰型言語モデルである。 我々は,CEV-LMがこれらの3つの指標に対して,よりターゲット的かつ正確な制御を提供することを示す。
  論文  参考訳（メタデータ） (2024-02-22T05:07:31Z)
• Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction [80.38130122127882]
  ニューラルリレーション抽出(RE)に関連する言語特性を対象とした14の探索タスクを導入する。 私たちは、40以上の異なるエンコーダアーキテクチャと2つのデータセットでトレーニングされた言語的特徴の組み合わせによって学習された表現を研究するためにそれらを使用します。 アーキテクチャによって引き起こされるバイアスと言語的特徴の含意は、探索タスクのパフォーマンスにおいて明らかに表現されている。
  論文  参考訳（メタデータ） (2020-04-17T09:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。