論文の概要: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2403.09040v2
• Date: Mon, 12 Aug 2024 17:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 23:48:12.731932
• Title: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems
• Title（参考訳）: RAGGED:検索拡張システムのインフォームドデザインに向けて
• Authors: Jennifer Hsia, Afreen Shaikh, Zhiruo Wang, Graham Neubig,
• Abstract要約: Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 51.171355532527365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) can significantly improve the performance of language models (LMs) by providing additional context for tasks such as document-based question answering (DBQA). However, the effectiveness of RAG is highly dependent on its configuration. To systematically find the optimal configuration, we introduce RAGGED, a framework for analyzing RAG configurations across various DBQA tasks. Using the framework, we discover distinct LM behaviors in response to varying context quantities, context qualities, and retrievers. For instance, while some models are robust to noisy contexts, monotonically performing better with more contexts, others are more noise-sensitive and can effectively use only a few contexts before declining in performance. This framework also provides a deeper analysis of these differences by evaluating the LMs' sensitivity to signal and noise under specific context quality conditions. Using RAGGED, researchers and practitioners can derive actionable insights about how to optimally configure their RAG systems for their specific question-answering tasks.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、文書ベースの質問応答(DBQA)のようなタスクに追加のコンテキストを提供することで、言語モデル(LM)の性能を大幅に向上させることができる。 しかしながら、RAGの有効性は構成に大きく依存している。 最適構成を体系的に見つけるために,様々なDBQAタスク間でRAG構成を解析するフレームワークであるRAGGEDを導入する。 このフレームワークを用いて、異なる文脈量、文脈品質、検索者に対応する異なるLMの挙動を発見する。 例えば、いくつかのモデルはノイズの多いコンテキストに対して堅牢であり、より多くのコンテキストで単調にパフォーマンスが向上するが、他のモデルはよりノイズに敏感であり、パフォーマンスが低下する前に少数のコンテキストしか有効に使用できない。 このフレームワークはまた、特定の環境条件下での信号や雑音に対するLMの感度を評価することで、これらの違いをより深く分析する。 RAGGEDを使用することで、研究者や実践者は、特定の質問応答タスクに対して、RAGシステムをどのように最適に設定するかについての実用的な洞察を得ることができる。

関連論文リスト

• RARe: Retrieval Augmented Retrieval with In-Context Examples [40.963703726988946]
  本稿では,検索者がコンテキスト内例を利用できるためのシンプルなアプローチを提案する。 RAREは、クエリがターゲットクエリとセマンティックに類似しているコンテキスト内の例で事前訓練されたモデルを微調整する。 RAReは、コンテキスト内例のないクエリを用いたモデルと比較して、ドメイン外一般化がより強力であることがわかった。
  論文  参考訳（メタデータ） (2024-10-26T05:46:20Z)
• SMART-RAG: Selection using Determinantal Matrices for Augmented Retrieval [40.17823569905232]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)を大幅に改善し、正確で文脈に根ざした応答を生成する。 RAGアプローチは、クエリコンテキストの関連性のみに基づくトップランクのドキュメントを優先し、冗長性と矛盾する情報をしばしば導入する。 本稿では,RAGにおける文脈選択の最適化を目的とした,教師なしおよびトレーニング不要なフレームワークであるRAG(Mathrices for Augmented Retrieval)によるタスク応答のための選択を提案する。
  論文  参考訳（メタデータ） (2024-09-21T03:03:09Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• WeQA: A Benchmark for Retrieval Augmented Generation in Wind Energy Domain [2.8514947506989707]
  ドメイン関連RAGベンチマークを生成するための包括的なフレームワークを提案する。 我々のフレームワークは、人間(ドメインの専門家)-AI大言語モデル(LLM)による自動質問応答生成に基づいている。 風力エネルギー領域の第一級ベンチマークであるWeQAを導入することで、この枠組みを実証する。
  論文  参考訳（メタデータ） (2024-08-21T17:43:11Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Introducing a new hyper-parameter for RAG: Context Window Utilization [0.0]
  RAGシステムは、外部知識ベースから取得した関連情報を組み込むことで、生成モデルを強化する。 検索および処理されたテキストチャンクのサイズは、RAG性能に影響を与える重要な要因である。 本研究の目的は,回答生成品質を最大化する最適チャンクサイズを特定することである。
  論文  参考訳（メタデータ） (2024-07-29T08:38:14Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Learning to Retrieve In-Context Examples for Large Language Models [69.9707552694766]
  大規模言語モデル(LLM)は、文脈内で学習する能力を示している。 文脈内学習の有効性は、選択した例の品質に大きく依存する。 高品質なインコンテキストの例を識別可能な高密度検索を反復的に学習する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-14T05:23:08Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。