論文の概要: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems

• arxiv url: http://arxiv.org/abs/2403.09040v2
• Date: Mon, 12 Aug 2024 17:12:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 23:48:12.731932
• Title: RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems
• Title（参考訳）: RAGGED:検索拡張システムのインフォームドデザインに向けて
• Authors: Jennifer Hsia, Afreen Shaikh, Zhiruo Wang, Graham Neubig,
• Abstract要約: Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 51.171355532527365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) can significantly improve the performance of language models (LMs) by providing additional context for tasks such as document-based question answering (DBQA). However, the effectiveness of RAG is highly dependent on its configuration. To systematically find the optimal configuration, we introduce RAGGED, a framework for analyzing RAG configurations across various DBQA tasks. Using the framework, we discover distinct LM behaviors in response to varying context quantities, context qualities, and retrievers. For instance, while some models are robust to noisy contexts, monotonically performing better with more contexts, others are more noise-sensitive and can effectively use only a few contexts before declining in performance. This framework also provides a deeper analysis of these differences by evaluating the LMs' sensitivity to signal and noise under specific context quality conditions. Using RAGGED, researchers and practitioners can derive actionable insights about how to optimally configure their RAG systems for their specific question-answering tasks.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、文書ベースの質問応答(DBQA)のようなタスクに追加のコンテキストを提供することで、言語モデル(LM)の性能を大幅に向上させることができる。 しかしながら、RAGの有効性は構成に大きく依存している。 最適構成を体系的に見つけるために,様々なDBQAタスク間でRAG構成を解析するフレームワークであるRAGGEDを導入する。 このフレームワークを用いて、異なる文脈量、文脈品質、検索者に対応する異なるLMの挙動を発見する。 例えば、いくつかのモデルはノイズの多いコンテキストに対して堅牢であり、より多くのコンテキストで単調にパフォーマンスが向上するが、他のモデルはよりノイズに敏感であり、パフォーマンスが低下する前に少数のコンテキストしか有効に使用できない。 このフレームワークはまた、特定の環境条件下での信号や雑音に対するLMの感度を評価することで、これらの違いをより深く分析する。 RAGGEDを使用することで、研究者や実践者は、特定の質問応答タスクに対して、RAGシステムをどのように最適に設定するかについての実用的な洞察を得ることができる。

関連論文リスト

• Enhancing Retrieval-Augmented Generation: A Study of Best Practices [16.246719783032436]
  我々は,クエリ拡張,新しい検索戦略,新しいコントラシティブ・インコンテクスト学習RAGを取り入れた高度なRAGシステム設計を開発する。 本研究は,言語モデルのサイズ,プロンプトデザイン,文書チャンクサイズ,知識ベースサイズ,検索ストライド,クエリ拡張手法,文レベルでのコンテキスト検索など,重要な要素を体系的に検討する。 本研究は,RAGシステムの開発に有効な知見を提供し,文脈的豊かさと検索・生成効率のバランスを図った。
  論文  参考訳（メタデータ） (2025-01-13T15:07:55Z)
• Re-ranking the Context for Multimodal Retrieval Augmented Generation [28.63893944806149]
  Retrieval-augmented Generation (RAG)は、文脈内で応答を生成するために外部知識を組み込むことで、大きな言語モデル(LLM)を強化する。 RAGシステムは固有の課題に直面している: (i) 検索プロセスはユーザクエリ(画像、文書など)への無関係なエントリを選択することができ、 (ii) 視覚言語モデルや GPT-4o のようなマルチモーダル言語モデルは、RAG出力を生成するためにこれらのエントリを処理する際に幻覚を与える。 より高度な関連性尺度を用いることで、知識ベースからより関連性の高い項目を選択して排除することにより、検索プロセスを強化することができることを示す。
  論文  参考訳（メタデータ） (2025-01-08T18:58:22Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• Adapting to Non-Stationary Environments: Multi-Armed Bandit Enhanced Retrieval-Augmented Generation on Knowledge Graphs [23.357843519762483]
  近年の研究では、検索-拡張生成フレームワークと知識グラフを組み合わせることで、大規模言語モデルの推論能力を強力に向上することが示されている。 我々は多目的帯域拡張RAGフレームワークを導入し、多様な機能を持つ複数の検索手法をサポートする。 本手法は,定常環境下での最先端性能を達成しつつ,非定常環境でのベースライン手法を著しく向上させる。
  論文  参考訳（メタデータ） (2024-12-10T15:56:03Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• WeQA: A Benchmark for Retrieval Augmented Generation in Wind Energy Domain [2.8514947506989707]
  ドメイン関連RAGベンチマークを生成するための包括的なフレームワークを提案する。 我々のフレームワークは、人間(ドメインの専門家)-AI大言語モデル(LLM)による自動質問応答生成に基づいている。 風力エネルギー領域の第一級ベンチマークであるWeQAを導入することで、この枠組みを実証する。
  論文  参考訳（メタデータ） (2024-08-21T17:43:11Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。