論文の概要: RAGe: A Retrieval-Augmented Generation Evaluation Framework
- arxiv url: http://arxiv.org/abs/2605.27445v1
- Date: Sat, 23 May 2026 17:46:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.28367
- Title: RAGe: A Retrieval-Augmented Generation Evaluation Framework
- Title(参考訳): RAGe: 検索拡張型世代評価フレームワーク
- Authors: Larissa Guder, João Pedro de Moura, Arthur Accorsi, Gustavo Losch do Amaral, Maurício Cecílio Magnaguagno, Felipe Meneguzzi, Marcio Sorraglia Pinho, Dalvan Griebler,
- Abstract要約: RAGeは、研究者が特定の運用ニーズに対して最も効果的でドメイン固有のRAGセットアップを特定するのをサポートする。
RAGeは、特定の運用ニーズに対して最も効果的でドメイン固有のRAGセットアップを特定することをサポートし、コンシューマグレードのハードウェアでも迅速なプロトタイピングを容易にする。
- 参考スコア(独自算出の注目度): 3.833693802518811
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deploying Large Language Model (LLM) applications, particularly those relying on Retrieval-Augmented Generation (RAG), remains challenging due to high computational demands, outdated knowledge bases, and the need to manually select optimal pipeline components. In this work, we propose a modular framework for benchmarking and guiding the efficient development of RAG applications by focusing on resource telemetry and component recommendation, suggesting the best components for a domain-specific dataset. Our approach leverages core techniques in LLM applications, including document chunking, vector databases, embedding models, and retrievers, to evaluate trade-offs among accuracy, efficiency, and scalability. By directly correlating retrieval and generation quality with underlying hardware constraints, RAGe supports researchers to identify the most effective, domain-specific RAG setups for their specific operational needs, facilitating rapid prototyping even on consumer-grade hardware.
- Abstract(参考訳): LLM(Large Language Model)アプリケーションのデプロイ、特にRetrieval-Augmented Generation (RAG)に依存しているアプリケーションは、高い計算要求、古い知識ベース、そして手動で最適なパイプラインコンポーネントを選択する必要があるため、依然として困難である。
本研究では、リソーステレメトリとコンポーネントレコメンデーションに着目し、RAGアプリケーションの効率的な開発をベンチマークし、導くためのモジュラーフレームワークを提案し、ドメイン固有のデータセットに最適なコンポーネントを提案する。
提案手法は,文書チャンキング,ベクトルデータベース,埋め込みモデル,レトリバーなどのLLMアプリケーションにおけるコア技術を活用し,精度,効率,スケーラビリティのトレードオフを評価する。
RAGeは、検索と生成品質を基礎となるハードウェア制約と直接関連付けることにより、研究者が特定の運用ニーズに対して最も効果的でドメイン固有のRAGセットアップを特定することを支援し、コンシューマグレードのハードウェアでも迅速なプロトタイピングを容易にする。
関連論文リスト
- Structure-Aware RAG: Structured Retrieval Augmented Generation from Noisy Data for Conversational Agents [68.52563127206808]
SA-RAG(Structure-aware Retrieval Augmented Generation)は、テーブルを中間構造表現として使用して、コンパクトで制御可能なインターフェースを提供する。
メタデータの正規化と有効性をモデル化する品質対応のテーブルメタデータ生成フレームワークを提案する。
2つのノイズの多い実世界のデータセットの実験は、SA-RAGが既存のRAGベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2026-05-23T03:07:33Z) - Domain-Specific Data Generation Framework for RAG Adaptation [58.20906914537952]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルの言語理解と推論能力と外部検索を組み合わせ、ドメイン基底応答を可能にする。
本稿では,様々なRAG適応手法に合わせて,ドメイン基底型質問応答コンテキスト(QAC)トリプルを生成するフレームワークであるRAGenを提案する。
論文 参考訳(メタデータ) (2025-10-13T09:59:49Z) - RoseRAG: Robust Retrieval-augmented Generation with Small-scale LLMs via Margin-aware Preference Optimization [53.63439735067081]
大規模言語モデル(LLM)は目覚ましい性能を達成したが、高い計算コストとレイテンシに直面している。
Retrieval-augmented Generation (RAG) は、外部知識を統合するのに役立つが、不完全な検索は、SLMを誤解させるノイズを引き起こす可能性がある。
我々は、Margin-aware Preference Optimizationを通じて、SLMのための堅牢なRAGフレームワークであるRoseRAGを提案する。
論文 参考訳(メタデータ) (2025-02-16T04:56:53Z) - XRAG: eXamining the Core -- Benchmarking Foundational Components in Advanced Retrieval-Augmented Generation [36.84847781022757]
Retrieval-augmented Generation (RAG) は、Large Language Models (LLMs) の生成能力と関連するデータの検索を相乗化する
我々は,高度なRAGモジュールの基本コンポーネントの性能を徹底的に評価する,オープンソースのモジュールであるXRAGを紹介する。
論文 参考訳(メタデータ) (2024-12-20T03:37:07Z) - Query Optimization for Parametric Knowledge Refinement in Retrieval-Augmented Large Language Models [25.390142515721802]
ERRRフレームワークは、検索-拡張生成(RAG)システムにおける事前検索情報ギャップを橋渡しするように設計されている。
RAGで使用される従来のクエリ最適化手法とは異なり、ERRRフレームワークはLarge Language Models (LLM) から知識を抽出することから始まる。
論文 参考訳(メタデータ) (2024-11-12T14:12:45Z) - FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
検索増強世代(RAG)は、かなりの研究関心を集めている。
既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。
我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
論文 参考訳(メタデータ) (2024-05-22T12:12:40Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。