論文の概要: Less LLM, More Documents: Searching for Improved RAG

• arxiv url: http://arxiv.org/abs/2510.02657v1
• Date: Fri, 03 Oct 2025 01:26:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 16:35:52.228906
• Title: Less LLM, More Documents: Searching for Improved RAG
• Title（参考訳）: LLMの削減,ドキュメントの充実 - RAGの改善を求めて
• Authors: Jingjie Ning, Yibo Kong, Yunfan Long, Jamie Callan,
• Abstract要約: ジェネレータのスケーリングによって精度が向上し、コストが上がり、デプロイが制限される。 コーパススケーリングはRAGを継続的に強化し、しばしばモデルサイズの増加の代用として機能することを示す。
• 参考スコア（独自算出の注目度）: 7.721366841540976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) couples document retrieval with large language models (LLMs). While scaling generators improves accuracy, it also raises cost and limits deployability. We explore an orthogonal axis: enlarging the retriever's corpus to reduce reliance on large LLMs. Experimental results show that corpus scaling consistently strengthens RAG and can often serve as a substitute for increasing model size, though with diminishing returns at larger scales. Small- and mid-sized generators paired with larger corpora often rival much larger models with smaller corpora; mid-sized models tend to gain the most, while tiny and large models benefit less. Our analysis shows that improvements arise primarily from increased coverage of answer-bearing passages, while utilization efficiency remains largely unchanged. These findings establish a principled corpus-generator trade-off: investing in larger corpora offers an effective path to stronger RAG, often comparable to enlarging the LLM itself.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、文書検索と大きな言語モデル(LLM)を結合する。 ジェネレータのスケーリングによって精度が向上する一方、コストが上がり、デプロイ可能性も制限される。 我々は,大規模なLLMへの依存を減らすために,レトリバーのコーパスを拡大する直交軸を探索する。 実験結果から, コーパススケーリングはRAGを継続的に強化し, モデルサイズを増大させる代替として機能するが, 大規模なリターンは減少する。 大型コーパスと組み合わせた小型・中型発電機は、より小型のコーパスと競合することが多い。 分析の結果, 有効利用効率はほぼ変わらず, 解答経路のカバレッジの増加によって改善がもたらされることが示唆された。 これらの発見は、コーパス生成の原則的なトレードオフを確立し、より大きなコーパスへの投資は、より強力なRAGへの効果的な経路を提供する。

関連論文リスト

• Does Generative Retrieval Overcome the Limitations of Dense Retrieval? [117.49076770892583]
  生成的検索(GR)はニューラル情報検索の新しいパラダイムとして登場した。 本研究では,GRが高密度検索(DR)から学習目的と表現能力の両方において根本的に分岐するかを検討する。
  論文  参考訳（メタデータ） (2025-09-26T09:38:01Z)
• FB-RAG: Improving RAG with Forward and Backward Lookup [4.961899585180462]
  Forward-Backward RAG (FB-RAG) は、単純だが強力で前向きな戦略に基づいた、新しいトレーニングフリーフレームワークである。 FB-RAGは9つのデータセットで一貫して強力な結果を提供する。
  論文  参考訳（メタデータ） (2025-05-22T18:31:52Z)
• Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting [68.90949377014742]
  Speculative RAG(投機的RAG)は、より大規模なジェネラリストLMを利用して、より小さな蒸留専門のLMによって並列に生成された複数のRAGドラフトを効率よく検証するフレームワークである。 提案手法は,より小さな専門家のLMにドラフト作成を委譲することでRAGを加速し,より大きなジェネラリストのLMがドラフトに1回の検証パスを実行する。 PubHealthの従来のRAGシステムと比較して、レイテンシを50.83%削減しながら、最大12.97%の精度向上を実現している。
  論文  参考訳（メタデータ） (2024-07-11T06:50:19Z)
• Enhancing Inference Efficiency of Large Language Models: Investigating Optimization Strategies and Architectural Innovations [0.0]
  この論文はモデル圧縮の手法を探求する。 モデル圧縮の有効な方法として,トランスフォーマーLLMにおいて,後続の注意サブレイヤをスキップする簡単な手法を実証的に示す。 その結果,Llama 2 7Bでは21%の高速化が見られた。
  論文  参考訳（メタデータ） (2024-04-02T19:53:54Z)
• The Larger the Better? Improved LLM Code-Generation via Budget Reallocation [32.0844209512788]
  大型言語モデル(LLM)は小型言語よりも優れているという考え方が一般的である。 両方のモデルが同じ予算の下で動作した場合、どうなるのか? 我々は、様々なサイズのコード生成LLMを分析し、70Bモデルを実行する場合と13Bモデルから5つの出力を生成する場合の比較を行う。
  論文  参考訳（メタデータ） (2024-03-31T15:55:49Z)
• Learning to Grow Pretrained Models for Efficient Transformer Training [72.20676008625641]
  そこでは、より小さなモデルのパラメータを線形にマッピングして、より大きなモデルを初期化する。 言語と視覚のトランスフォーマーをまたいだ実験では、学習した線形成長演算子(LiGO)が、スクラッチから最大50%の計算コストを節約できることが示されています。
  論文  参考訳（メタデータ） (2023-03-02T05:21:18Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)
• Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers [94.43313684188819]
  本研究では,計算によって制限されたNLPタスクのトランスフォーマーモデルに着目し,モデルサイズの影響について検討する。 まず最初に、より小さなTransformerモデルがイテレーション毎に高速に実行されているにもかかわらず、より広いモデルとより深いモデルがはるかに少ないステップで収束していることを示します。 これは、大きなTransformerモデルのトレーニング効率と小さなTransformerモデルの推論効率との間に明らかなトレードオフをもたらす。
  論文  参考訳（メタデータ） (2020-02-26T21:17:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。