論文の概要: ReFilter: Improving Robustness of Retrieval-Augmented Generation via Gated Filter
- arxiv url: http://arxiv.org/abs/2602.12709v1
- Date: Fri, 13 Feb 2026 08:25:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-16 23:37:53.891239
- Title: ReFilter: Improving Robustness of Retrieval-Augmented Generation via Gated Filter
- Title(参考訳): ReFilter: ゲートフィルタによる検索拡張生成のロバスト性向上
- Authors: Yixin Chen, Ying Xiong, Shangyu Wu, Xiangrui Ke, Nan Guan, Chun Jason Xue,
- Abstract要約: 本稿ではトークンレベルのフィルタリングと融合を行う新しい潜伏型融合フレームワークを提案する。
ReFilterは、コンテキスト特徴をエンコードするコンテキストエンコーダ、トークンを重み付けするゲートフィルタ、トークン融合モジュールの3つの重要なコンポーネントで構成されている。
実験の結果、ReFilterはドメイン内適応とドメイン外転送の両方で、常に最高の平均性能を達成できることがわかった。
- 参考スコア(独自算出の注目度): 21.74343337071446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) has become a dominant paradigm for grounding large language models (LLMs) with external evidence in knowledge-intensive question answering. A core design choice is how to fuse retrieved samples into the LLMs, where existing internal fusion approaches broadly fall into query-based fusion, parametric fusion, and latent-based fusion. Despite their effectiveness at modest retrieval scales, these methods often fail to scale gracefully as the number of retrieved candidates k increases: Larger k improves evidence coverage, yet realistic top-k retrieval inevitably contains irrelevant or redundant content and increases the inference cost. To address these limitations, we propose ReFilter, a novel latent-based fusion framework that performs token-level filtering and fusion. ReFilter consists of three key components: a context encoder for encoding context features, a gated filter for weighting each token, and a token fusion module for integrating the weighted token feature into the LLM's hidden states. Our experiments across four general-domain QA benchmarks show that ReFilter consistently achieves the best average performance under both in-domain adaptation and out-of-domain transfer. ReFilter further generalizes to five biomedical QA benchmarks in zero-shot transfer without domain fine-tuning, reaching 70.01% average accuracy with Qwen2.5-14B-Instruct.
- Abstract(参考訳): Retrieval-augmented Generation (RAG) は、知識集約型質問応答における外部証拠を伴う大規模言語モデル(LLM)の基盤となる主要なパラダイムとなっている。
コアとなる設計選択は、抽出したサンプルをLCMに融合する方法であり、既存の内部融合アプローチは、クエリベースの融合、パラメトリック核融合、潜在核融合に広く浸透する。
より大規模なkはエビデンスカバレッジを改善するが、現実的なトップk検索は必然的に無関係または冗長なコンテンツを含み、推論コストを増大させる。
これらの制限に対処するため、トークンレベルのフィルタリングと融合を行う新しい潜伏型融合フレームワークであるReFilterを提案する。
ReFilterは、コンテキスト特徴をエンコードするコンテキストエンコーダ、トークンを重み付けするゲートフィルタ、LLMの隠れ状態に統合するトークン融合モジュールの3つの主要なコンポーネントで構成されている。
4つの一般ドメインQAベンチマークによる実験により、ReFilterはドメイン内適応とドメイン外転送の両方において、常に最高の平均性能を達成することが示された。
ReFilterはさらに、5つのバイオメディカルQAベンチマークをドメインの微調整なしにゼロショット転送で一般化し、Qwen2.5-14B-Instructで平均精度70.01%に達した。
関連論文リスト
- Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning [50.27838512822097]
我々は,グローバルRAG機能を評価するために設計された最初のベンチマークであるGlobalQAを紹介する。
我々は,チャンクレベルの検索によって構造的コヒーレンスを保存するマルチツール協調フレームワークであるGlobalRAGを提案する。
Qwen2.5-14Bモデルでは、GlobalRAGは最強のベースラインである1.51 F1と比較して6.63 F1を達成した。
論文 参考訳(メタデータ) (2025-10-30T07:29:14Z) - Careful Queries, Credible Results: Teaching RAG Models Advanced Web Search Tools with Reinforcement Learning [48.46951981642895]
我々は、ソース制限されたクエリを生成し、信頼できないコンテンツをフィルタリングする新しいRAGフレームワークであるWebFilterを提案する。
WebFilterは応答品質と検索精度を向上し,ドメイン内ベンチマークとドメイン外ベンチマークの両方で既存のRAGメソッドよりも優れていることを示す。
論文 参考訳(メタデータ) (2025-08-11T13:08:37Z) - ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems [2.8692611791027893]
Retrieval-Augmented Generation (RAG) システムは、無関係またはゆるい関連情報の検索によって不正確な応答を生成する。
チャンクレベルで取得した情報を評価・フィルタリングすることでRAGシステムを強化するフレームワークであるChunkRAGを提案する。
論文 参考訳(メタデータ) (2024-10-25T14:07:53Z) - BlendFilter: Advancing Retrieval-Augmented Large Language Models via Query Generation Blending and Knowledge Filtering [58.403898834018285]
BlendFilterは、知識フィルタリングと組み合わせたクエリ生成を統合することで、検索強化された大規模言語モデルを高める新しいアプローチである。
我々は3つのオープンドメイン質問応答ベンチマークで広範な実験を行い、我々の革新的なBlendFilterが最先端のベースラインをはるかに上回っていることを明らかにした。
論文 参考訳(メタデータ) (2024-02-16T23:28:02Z) - KG-FiD: Infusing Knowledge Graph in Fusion-in-Decoder for Open-Domain
Question Answering [68.00631278030627]
検索した通路間の構造的関係を知識グラフで利用することにより,ノイズのある通路をフィルタする新しい手法KG-FiDを提案する。
我々は,KG-FiDが解答一致スコアの最大1.5%向上し,計算コストの40%程度でFiDに匹敵する性能が得られることを示した。
論文 参考訳(メタデータ) (2021-10-08T18:39:59Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳(メタデータ) (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。