論文の概要: RAG-NIMBF: A Non-Invasive, Modular Benchmarking Framework for Automated RAG Configuration Analysis
- arxiv url: http://arxiv.org/abs/2610.27816v1
- Date: Tue, 20 Oct 2026 08:08:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.71404
- Title: RAG-NIMBF: A Non-Invasive, Modular Benchmarking Framework for Automated RAG Configuration Analysis
- Title（参考訳）: RAG-NIMBF: 自動RAG構成解析のための非侵襲的モジュール型ベンチマークフレームワーク
- Abstract要約: RAG-NIMBFは、既存のRAGパイプラインを非侵襲的な評価層としてアタッチするベンチマークフレームワークである。
制御されたアブレーションとエンドツーエンドの実験追跡によって構成空間を評価する。
本研究は、SQuADデータセット上で、複数の世代モデルにまたがるフレームワークを検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-Augmented Generation (RAG) has become the dominant paradigm for grounding the outputs of large language models (LLM) in external knowledge. However, practitioners are faced with a vast configuration space comprising chunking, embedding, retrieval, reranking, prompting and generation models, and there is limited guidance on how these components interact. We present RAG-NIMBF, a modular benchmarking framework that attaches to existing RAG pipelines as a non-invasive evaluation layer. It evaluates the configuration space through controlled ablation with end-to-end experiment tracking. The evaluation combines LLM-based answer quality scores, retrieval correctness measures, and runtime indicators. This study validates the framework across multiple generation models on the SQuAD dataset. This process reveals non-obvious interactions and demonstrates how the experiments are tracked. The findings indicate that the retrieval balance of relevance and diversity substantially enhances the relevance and coverage of retrieved context in comparison to a conventional similarity search, with MMR raising nDCG@5 by +4 to +11 percentage points across the swept models. More detailed prompt instructions meaningfully increase how faithfully generated answers stick to the retrieved evidence, especially for capable and reasoning models (+10 to +13pp on Qwen3.6-27B, GPT-4o-mini and Qwen3.5-think, but negligible on the 20B generator). Overall, RAG-NIMBF transforms the configuration space of RAG into reproducible, comparable experiments. By attaching to existing production pipelines in a non-invasive way, it enables practitioners to systematically evaluate and improve deployed systems without disrupting existing workflows. This replaces ad hoc choices with evidence-based decisions.
- Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)のアウトプットを外部知識で基礎づける主要なパラダイムとなっている。
しかし、実践者はチャンキング、埋め込み、検索、ランク付け、プロンプト、生成モデルを含む広大な構成空間に直面しており、これらのコンポーネントの相互作用に関するガイダンスは限られている。
非侵襲的な評価層として既存のRAGパイプラインにアタッチするモジュール型ベンチマークフレームワークであるRAG-NIMBFを提案する。
制御されたアブレーションとエンドツーエンドの実験追跡によって構成空間を評価する。
評価には, LLMに基づく回答品質スコア, 検索精度尺度, 実行時指標が組み合わされている。
本研究は、SQuADデータセット上で、複数の世代モデルにまたがるフレームワークを検証する。
このプロセスは、望ましくない相互作用を明らかにし、実験がどのように追跡されているかを示す。
その結果, 関連性および多様性の検索バランスは, 従来の類似性検索と比較して, 検索コンテキストの関連性とカバレッジを著しく向上させることが明らかとなった。
特に有能で推論可能なモデル(Qwen3.6-27Bでは+10から+13pp、GPT-4o-mini、Qwen3.5-thinkでは20Bジェネレータでは無視できる)では、より詳細なプロンプト命令により、得られた証拠がいかに忠実に生成されるかが明確になる。
全体として、RAG-NIMBFはRAGの構成空間を再現可能な同等の実験に変換する。
非侵襲的な方法で既存の運用パイプラインにアタッチすることで、既存のワークフローを中断することなく、運用システムのシステマティックな評価と改善が可能になる。
これは、アドホックな選択をエビデンスベースの決定に置き換える。
関連論文リスト
- Agent-Orchestrated Adaptive RAG: A Comparative Study on Structured and Multi-Hop Retrieval [0.0]
Retrieval-Augmented Generation (RAG) は、言語モデル(LLM)を拡張し、その応答を外部知識に基盤付ける。
本稿では,動的クエリ分解,反復検索,および有界自己回帰評価ループを導入したエージェントオーケストレーション適応型RAGフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-04T03:38:46Z) - Beyond Relevance: On the Relationship Between Retrieval and RAG Information Coverage [89.58253972744531]
Retrieval-augmented Generation (RAG) システムは、文書検索と生成モデルを組み合わせて、レポート生成のような複雑な情報を求める課題に対処する。
我々は,上流の検索指標が,最終生成応答の情報カバレッジの信頼性の高い早期指標として機能するかどうかを検討する。
本研究は,トピックとシステムレベルの両方で生成した応答におけるカバレッジベース検索指標とナゲットカバレッジとの間に強い相関関係を示した。
論文 参考訳（メタデータ） (2026-03-09T18:20:20Z) - Is Agentic RAG worth it? An experimental comparison of RAG approaches [0.07777489763207261]
検索・拡張生成システムは通常、ジェネレータと検索コンポーネントの組み合わせで定義される。
これらの欠点は「強化されたRAG」の開発を動機づけている。
大規模言語モデルの自己回帰能力の増大により,新たなパラダイムが実現した。
論文 参考訳（メタデータ） (2026-01-12T16:43:44Z) - FAIR-RAG: Faithful Adaptive Iterative Refinement for Retrieval-Augmented Generation [0.0]
本稿では、標準的なRAGパイプラインを動的にエビデンス駆動の推論プロセスに変換する新しいエージェントフレームワークであるFAIR-RAGを紹介する。
本稿では,HotpotQA,2WikiMultiHopQA,MusiQueなどのマルチホップQAベンチマーク実験を行う。
我々の研究は、高度なRAGシステムにおける信頼性と正確な推論を解き明かすためには、明確なギャップ分析による構造化されたエビデンス駆動の洗練プロセスが不可欠であることを示す。
論文 参考訳（メタデータ） (2025-10-25T15:59:33Z) - Investigating the Robustness of Retrieval-Augmented Generation at the Query Level [4.3028340012580975]
推論中に外部知識を動的に組み込むソリューションとして、検索拡張生成(RAG)が提案されている。
その約束にもかかわらず、RAGシステムは実際的な課題に直面し、特に、正確な検索のために入力クエリの品質に強く依存する。
論文 参考訳（メタデータ） (2025-07-09T15:39:17Z) - Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [52.3707788779464]
我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。
ARC-JSDは、追加の微調整、勾配計算、サロゲートモデリングなしで、重要な文脈文の効率的かつ正確な識別を可能にする。
TyDi QA, Hotpot QA, Musique など,様々なスケールの命令調整 LLM を用いたRAG ベンチマークの評価により,精度が向上し,計算効率が向上した。
論文 参考訳（メタデータ） (2025-05-22T09:04:03Z) - MIRAGE: A Metric-Intensive Benchmark for Retrieval-Augmented Generation Evaluation [8.950307082012763]
大規模言語モデル(LLM)の生成能力向上に有効な手法として,検索拡張生成(RAG)が注目されている。
本稿では,RAG評価に特化して設計された質問応答データセットであるMIRAGEについて述べる。
MIRAGEは、37,800エントリの検索プールにマッピングされた7,560のキュレートされたインスタンスで構成され、検索と生成の両方のタスクの効率的かつ正確な評価を可能にする。
論文 参考訳（メタデータ） (2025-04-23T23:05:46Z) - SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳（メタデータ） (2024-09-16T01:08:18Z) - RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。
事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。
実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
論文 参考訳（メタデータ） (2024-08-02T13:35:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。