論文の概要: Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge

• arxiv url: http://arxiv.org/abs/2511.00505v2
• Date: Tue, 04 Nov 2025 04:22:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-05 16:37:26.810612
• Title: Zero-RAG: Towards Retrieval-Augmented Generation with Zero Redundant Knowledge
• Title（参考訳）: Zero-RAG:ゼロ冗長知識による検索拡張生成を目指して
• Authors: Qi Luo, Xiaonan Li, Junqi Dai, Shuang Cheng, Xipeng Qiu,
• Abstract要約: 提案するZero-RAGは,RAGコーパス内の冗長な知識を識別し,それを創出する。 我々は,Zero-RAGがウィキペディアコーパスを30%減らし,検索段階を22%減らし,RAGの性能を損なわないことを示した。
• 参考スコア（独自算出の注目度）: 52.78475700575313
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation has shown remarkable results to address Large Language Models' hallucinations, which usually uses a large external corpus to supplement knowledge to LLMs. However, with the development of LLMs, the internal knowledge of LLMs has expanded significantly, thus causing significant knowledge redundancy between the external corpus and LLMs. On the one hand, the indexing cost of dense retrieval is highly related to the corpus size and thus significant redundant knowledge intensifies the dense retrieval's workload. On the other hand, the redundant knowledge in the external corpus is not helpful to LLMs and our exploratory analysis shows that it instead hurts the RAG performance on those questions which the LLM can answer by itself. To address these issues, we propose Zero-RAG to tackle these challenges. Specifically, we first propose the Mastery-Score metric to identify redundant knowledge in the RAG corpus to prune it. After pruning, answers to "mastered" questions rely primarily on internal knowledge of the LLM. To better harness the internal capacity, we propose Query Router and Noise-Tolerant Tuning to avoid the irrelevant documents' distraction and thus further improve the LLM's utilization of internal knowledge with pruned corpus. Experimental results show that Zero-RAG prunes the Wikipedia corpus by 30\% and accelerates the retrieval stage by 22\%, without compromising RAG's performance.
• Abstract（参考訳）: Retrieval-Augmented Generationは、LLMの知識を補うために、通常大きな外部コーパスを使用するLarge Language Modelsの幻覚に対処するための顕著な結果を示している。 しかし, LLMの開発に伴い, LLMの内部知識は大幅に拡大し, 外部コーパスとLLMの知識冗長性は著しく向上した。 一方,高密度検索の索引付けコストはコーパスサイズに大きく関係しており,冗長な知識が豊富であることから,高密度検索の作業負荷が増大する。 一方, 外部コーパスの冗長な知識はLLMにとって役に立たないため, 探索分析の結果, LLMが単独で答えられるような疑問に対して, RAGのパフォーマンスを損なうことが示唆された。 これらの課題に対処するため,Zero-RAGを提案する。 具体的には、まず、RAGコーパス内の冗長な知識を識別してプルークするMastery-Scoreメトリックを提案する。 刈り取られた後、'マスタード'な質問に対する答えは、主にLLMの内部知識に依存している。 内部の容量をよりよく活用するために,無関係な文書の散逸を避けるためにクエリルータとノイズ耐性チューニングを提案する。 実験の結果,Zero-RAG はウィキペディアのコーパスを 30 % 減らし,検索ステージを 22 % 高速化し,RAG のパフォーマンスを損なわないことがわかった。

関連論文リスト

• Improving Factuality in LLMs via Inference-Time Knowledge Graph Construction [30.381290814338413]
  大規模言語モデル(LLM)は、パラメトリックメモリに制限があるため、現実的に一貫した答えを生み出すのにしばしば苦労する。 推論中に知識グラフ(KG)を動的に構築・拡張する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-31T16:36:40Z)
• On the Role of Long-tail Knowledge in Retrieval Augmented Large Language Models [33.08049246893537]
  検索拡張現実(RAG)は,大規模言語モデル(LLM)の知識能力向上に際し,優れた性能を示す 本稿では,LLMの簡易かつ効果的なロングテール知識検出手法を提案する。 提案手法は,平均推定時間で4倍以上の高速化を実現し,下流タスクにおける一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2024-06-24T07:17:59Z)
• ThinkNote: Enhancing Knowledge Integration and Utilization of Large Language Models via Constructivist Cognition Modeling [55.21641515545307]
  大規模言語モデル(LLM)は、幅広いNLPタスクにおいて強力なパフォーマンスを示している。 それらはしばしば、不慣れな外部情報に晒されたとき、最適でない行動と矛盾を示す。 本稿では,LLMの外部知識活用を促進する新しいフレームワークであるThinkNoteを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。