論文の概要: Reducing Redundancy in Retrieval-Augmented Generation through Chunk Filtering

• arxiv url: http://arxiv.org/abs/2604.24334v1
• Date: Mon, 27 Apr 2026 11:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.921099
• Title: Reducing Redundancy in Retrieval-Augmented Generation through Chunk Filtering
• Title（参考訳）: チャンクフィルタリングによる検索拡張ジェネレーションの冗長性低減
• Authors: Daria Berdyugina, Anaëlle Cohen, Yohann Rioual,
• Abstract要約: 本研究では,検索品質を維持しつつ,索引付きコーパスを削減するためのチャンクフィルタリング手法を検討する。 検索性能は、精度、リコール、クロスオーバー・ユニオンのメトリクスに基づくトークンベースのフレームワークを用いて評価される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Standard Retrieval-Augmented Generation (RAG) chunking methods often create excessive redundancy, increasing storage costs and slowing retrieval. This study explores chunk filtering strategies, such as semantic, topic-based, and named-entity-based methods in order to reduce the indexed corpus while preserving retrieval quality. Experiments are conducted on multiple corpora. Retrieval performance is evaluated using a token-based framework based on precision, recall, and intersection-over-union metrics. Results indicate that entity-based filtering can reduce vector index size by approximately 25% to 36% while maintaining high retrieval quality close to the baseline. These findings suggest that redundancy introduced during chunking can be effectively reduced through lightweight filtering, improving the efficiency of retrieval-oriented components in RAG pipelines.
• Abstract（参考訳）: Standard Retrieval-Augmented Generation (RAG)チャンキング手法は、しばしば過剰な冗長性を発生させ、ストレージコストを増大させ、検索を遅くする。 本研究では,検索品質を保ちながらインデックス付きコーパスを削減するために,セマンティック,トピックベース,名前付きエンテントベースの手法などのチャンクフィルタリング手法を検討する。 複数のコーパスで実験を行う。 検索性能は、精度、リコール、クロスオーバー・ユニオンのメトリクスに基づくトークンベースのフレームワークを用いて評価される。 その結果, 実体に基づくフィルタリングは, ベースラインに近い高い検索品質を維持しつつ, ベクトルインデックスサイズを約25%から36%削減できることがわかった。 これらの結果から, チャンキング中に導入された冗長性は, 軽量フィルタリングにより効果的に低減され, RAGパイプラインにおける検索指向成分の効率が向上することが示唆された。

関連論文リスト

• Efficient Test-Time Inference via Deterministic Exploration of Truncated Decoding Trees [68.04613115686509]
  自己整合性は、複数の推論トレースを並列にサンプリングし、投票することで、推論時間のパフォーマンスを向上させる。 そこで本研究では,切り落された標本を伐採木として扱う決定論的復号法であるDLE(Distinct Leafion)を提案する。 DLEは高品質な推論トレースを調査し、数学、コーディング、一般的な推論タスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2026-04-22T12:42:03Z)
• Optimizing Retrieval Augmented Generation for Object Constraint Language [3.4777703321218225]
  OCLはモデルベースシステムエンジニアリング(MBSE)に必須であるが、手動でOCLルールを記述するのは複雑で時間を要する。 OCLBERT生成に対する3つの異なる検索戦略の影響を評価する。 検索は生成精度を向上させることができるが,その有効性は検索方法と検索したチャンク数に依存する。
  論文  参考訳（メタデータ） (2025-05-19T14:00:10Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• Adaptive Retrieval and Scalable Indexing for k-NN Search with Cross-Encoders [77.84801537608651]
  クエリ-イムペアを共同で符号化することで類似性を計算するクロスエンコーダ(CE)モデルは、クエリ-イム関連性を推定する埋め込みベースモデル(デュアルエンコーダ)よりも優れている。 本稿では,潜時クエリとアイテム埋め込みを効率的に計算してCEスコアを近似し,CE類似度を近似したk-NN探索を行うスパース行列分解法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T17:14:34Z)
• Semi-Parametric Retrieval via Binary Bag-of-Tokens Index [71.78109794895065]
  SemI-parametric Disentangled Retrieval (SiDR)は、ニューラルパラメータから検索インデックスを分離するバイエンコーダ検索フレームワークである。 SiDRは、検索のための非パラメトリックトークン化インデックスをサポートし、BM25のようなインデックス化の複雑さを著しく改善した。
  論文  参考訳（メタデータ） (2024-05-03T08:34:13Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Asymptotic Soft Cluster Pruning for Deep Neural Networks [5.311178623385279]
  フィルタプルーニング法は, 選択したフィルタを除去することにより, 構造的疎結合を導入する。 Asymptotic Soft Cluster Pruning と呼ばれる新しいフィルタプルーニング法を提案する。 提案手法は,多くの最先端アルゴリズムと比較して,競合的な結果が得られる。
  論文  参考訳（メタデータ） (2022-06-16T13:58:58Z)
• Dependency Aware Filter Pruning [74.69495455411987]
  重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。 以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。 所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
  論文  参考訳（メタデータ） (2020-05-06T07:41:22Z)
• Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering [87.32442219333046]
  本稿では,段落エンコーダを事前学習するための簡易かつ資源効率の高い手法を提案する。 本手法は,事前学習に7倍の計算資源を使用する既存の高密度検索法より優れている。
  論文  参考訳（メタデータ） (2020-04-30T18:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。