論文の概要: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems
- arxiv url: http://arxiv.org/abs/2403.09040v2
- Date: Mon, 12 Aug 2024 17:12:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 23:48:12.731932
- Title: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems
- Title(参考訳): RAGGED:検索拡張システムのインフォームドデザインに向けて
- Authors: Jennifer Hsia, Afreen Shaikh, Zhiruo Wang, Graham Neubig,
- Abstract要約: Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる
RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
- 参考スコア(独自算出の注目度): 51.171355532527365
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) can significantly improve the performance of language models (LMs) by providing additional context for tasks such as document-based question answering (DBQA). However, the effectiveness of RAG is highly dependent on its configuration. To systematically find the optimal configuration, we introduce RAGGED, a framework for analyzing RAG configurations across various DBQA tasks. Using the framework, we discover distinct LM behaviors in response to varying context quantities, context qualities, and retrievers. For instance, while some models are robust to noisy contexts, monotonically performing better with more contexts, others are more noise-sensitive and can effectively use only a few contexts before declining in performance. This framework also provides a deeper analysis of these differences by evaluating the LMs' sensitivity to signal and noise under specific context quality conditions. Using RAGGED, researchers and practitioners can derive actionable insights about how to optimally configure their RAG systems for their specific question-answering tasks.
- Abstract(参考訳): Retrieval-augmented Generation (RAG)は、文書ベースの質問応答(DBQA)のようなタスクに追加のコンテキストを提供することで、言語モデル(LM)の性能を大幅に向上させることができる。
しかしながら、RAGの有効性は構成に大きく依存している。
最適構成を体系的に見つけるために,様々なDBQAタスク間でRAG構成を解析するフレームワークであるRAGGEDを導入する。
このフレームワークを用いて、異なる文脈量、文脈品質、検索者に対応する異なるLMの挙動を発見する。
例えば、いくつかのモデルはノイズの多いコンテキストに対して堅牢であり、より多くのコンテキストで単調にパフォーマンスが向上するが、他のモデルはよりノイズに敏感であり、パフォーマンスが低下する前に少数のコンテキストしか有効に使用できない。
このフレームワークはまた、特定の環境条件下での信号や雑音に対するLMの感度を評価することで、これらの違いをより深く分析する。
RAGGEDを使用することで、研究者や実践者は、特定の質問応答タスクに対して、RAGシステムをどのように最適に設定するかについての実用的な洞察を得ることができる。
関連論文リスト
- Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems [14.62114319247837]
Retrieval-augmented Generation (RAG)技術は、大規模言語モデル(LLM)のコンテキスト内学習機能を利用して、より正確で関連する応答を生成する。
重要なコンポーネントであるQuery Rewriterモジュールは、検索フレンドリーなクエリを生成することで知識検索を強化する。
これら4つのRAGモジュールは、RAGシステムの応答品質と効率を相乗的に改善する。
論文 参考訳(メタデータ) (2024-07-15T12:35:00Z) - CodeRAG-Bench: Can Retrieval Augment Code Generation? [78.37076502395699]
検索拡張生成を用いたコード生成の系統的,大規模な解析を行う。
まず、コード生成タスクの3つのカテゴリを含む総合的な評価ベンチマークであるCodeRAG-Benchをキュレートする。
CodeRAG-Bench上のトップパフォーマンスモデルについて、1つまたは複数のソースから検索したコンテキストを提供することにより検討する。
論文 参考訳(メタデータ) (2024-06-20T16:59:52Z) - Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる
既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。
本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
論文 参考訳(メタデータ) (2024-06-07T16:59:38Z) - RaFe: Ranking Feedback Improves Query Rewriting for RAG [83.24385658573198]
アノテーションを使わずにクエリ書き換えモデルをトレーニングするためのフレームワークを提案する。
公開されているリランカを活用することで、フィードバックはリライトの目的とよく一致します。
論文 参考訳(メタデータ) (2024-05-23T11:00:19Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳(メタデータ) (2024-03-22T17:13:46Z) - Retrieval Augmented Generation Systems: Automatic Dataset Creation,
Evaluation and Boolean Agent Setup [5.464952345664292]
Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。
本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
論文 参考訳(メタデータ) (2024-02-26T12:56:17Z) - CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。
本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
論文 参考訳(メタデータ) (2024-01-30T14:25:32Z) - LAMBO: Large Language Model Empowered Edge Intelligence [75.14984953011876]
モバイルエッジコンピューティング(MEC)のための LLM-based Offloading (LAMBO) フレームワークを提案する。
i) 入力埋め込み (IE) オフロードシステムの情報を制約で表現し、学習可能なベクターに高品質でプロンプトする (ii) 深いエンコーダと浅いデコーダを持つ意思決定モジュールである非対称エンコーダデコーダ (AED) モデル、 (iv) エキスパートフィードバック (ALEF) からのアクティブラーニング 動的環境変化に対応しながらAEDのデコーダ部分の微調整に使用できる。
論文 参考訳(メタデータ) (2023-08-29T07:25:42Z) - Task-Aware Specialization for Efficient and Robust Dense Retrieval for
Open-Domain Question Answering [85.08146789409354]
我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。
TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。
実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
論文 参考訳(メタデータ) (2022-10-11T05:33:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。